共计 399 个字符,预计需要花费 1 分钟才能阅读完成。
今天线上一个 tomcat 进程 cpu 负载 100%。按以下步骤查出原因。
1. 执行 top - c 命令,找到 cpu 最高的进程的 id
2. 执行 top -H -p pid,这个命令就能显示刚刚找到的进程的所有线程的资源消耗情况。找到 CPU 负载高的线程 tid 8627, 把这个数字转换成 16 进制,21B3。
3. 执行 jstack -l pid,拿到进程的线程 dump 文件。这个命令会打出这个进程的所有线程的运行堆栈。
4. 用记事本打开这个文件,搜索“21B3”,就是搜一下 16 进制显示的线程 id。搜到后,下面的堆栈就是这个线程打出来的。排查问题从这里深入。
今天最后排查出来的结果是“VM THREAD”把进程的资源耗尽。那只能说明是 jvm 在耗 cpu。很容易想到是疯狂的 GC,按关键字“overhead”搜一下系统日志,发现“GC Overhead”日志。问题明了了。jvm 在疯狂的 Full GC,而且有个大对象始终根节点路径可达,无法释放。
正文完
星哥说事-微信公众号