问题描述
最近连续两天大约凌晨3点，线上服务开始异常，出现OOM报错。且服务所在的物理机只能ping通，但是无法登录。报错信息如下：
ERROR 04-12 03:01:43,930 [DefaultQuartzScheduler_Worker-3] JobRunShell[JobRunShell]:211 Job threw an unhandled Exception:
java.lang.OutOfMemoryError: unable to create new native thread
at java.lang.Thread.start0(Native Method)
at java.lang.Thread.start(Thread.java:714)
at java.util.concurrent.ForkJoinPool.createWorker(ForkJoinPool.java:1483)
...
at org.quartz.core.JobRunShell.run(JobRunShell.java:202)
at org.quartz.simpl.SimpleThreadPool$WorkerThread.run(SimpleThreadPool.java:573)
排查过程
根据日志OOM报错，怀疑是内存不足或内存泄露的原因，需要查看内存的使用情况。考虑到JConsole或VisualVM具有可视化界面，能看出历史变化趋势，更直观地排查问题，因此为程序配置了jmx参数。重启应用，使用VisualVM连接应用的jmx端口。应用配置jmx端口的参数如下：
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.port=9998
VisualVM显示使用的内存是正常的，没有持续飙升。但是线程数却比较异常，随时间推移在持续增加。因此考虑看看是什么线程在持续增加，jstack是一个比较好用的工具，它用于生成 JAVA 虚拟机当前时刻的线程快照。
使用jstack -F PID打印出了所有线程，发现有大片下面的堆栈信息。注意到com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)方法出现的特别多。
Thread 7760: (state = BLOCKED)
- sun.misc.Unsafe.park(boolean, long) @bci=0 (Compiled frame; information may be imprecise)
- java.util.concurrent.ForkJoinPool.awaitWork(java.util.concurrent.ForkJoinPool$WorkQueue, int) @bci=354, line=1821 (Compiled frame)
- java.util.concurrent.ForkJoinPool.runWorker(java.util.concurrent.ForkJoinPool$WorkQueue) @bci=44, line=1690 (Compiled frame)
- java.util.concurrent.ForkJoinWorkerThread.run() @bci=24, line=157 (Compiled frame)
Thread 7759: (state = BLOCKED)
- java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
- com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)
- java.lang.Thread.run() @bci=11, line=745 (Compiled frame)
Thread 7758: (state = BLOCKED)
- java.lang.Object.wait(long) @bci=0 (Compiled frame; information may be imprecise)
- com.xxx.http.IdleConnectionMonitorThread.run() @bci=15, line=22 (Compiled frame)
- java.lang.Thread.run() @bci=11, line=745 (Compiled frame)
在项目搜索类IdleConnectionMonitorThread，并查看22行内容。发现如果不执行shutdown()方法，那么该后台线程会持续地执行wait()方法，导致该线程不退出。实际情况是确实没有执行shutdown()方法，随着每10分钟执行一次计算任务，每次计算任务会执行一批http请求，每个http请求就会创建出一个后台线程，这样会导致线程数越来越多。
联系了sdk的提供方，提供了后台进程的停止方法。在程序请求http完成后，释放请求的资源，停止了后台线程。使用VisualVm观察了一段时间，发现线程数不在增长了，未出现OOM报错。至此问题解决。
虽然问题解决了，不过还有个疑问，线程数达到多少会触发unable to create new native thread报错。查阅博客了解到，一个进程最多能创建多少线程是受多因素影响的，基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。通过查看服务器配置，系统支持的最大PID的值是最小的：32768，也就是说一个进程最多创建大约3w个线程。由于服务器上部署了线上服务，不方便在复现验证创建多少个线程时出现OOM报错。
系统支持的最大进程数
cat /proc/sys/kernel/pid_max
32768
系统支持的最大线程数
cat /proc/sys/kernel/threads-max
513024
进程可用最大虚拟内存
ulimit -v
unlimited
最大栈大小
ulimit -s
8192
每个用户可创建最大进程数
ulimit -u
256512
总结
1.JConsole或VisualVM具有可视化界面，可以方便地查看CPU占用、内存使用、类数量、线程数的历史变化趋势。
2.jstack命令可以查看正在运行的程序当前时刻的所有线程信息。
3.一个进程最多能创建多少线程，是受多因素影响的，基本上是系统支持的最大PID、用户可创建最大线程数、系统支持的最大线程数的最小值。