如何逐步解析并定位公司JVM堆溢出的详细过程？

本文共计2148个文字，预计阅读时间需要9分钟。

背景：在Atomcat服务上并行部署了大约8个微服务，它们不同于其他微服务那样独立部署，目的是为了节约服务器的资源，这些服务属于边缘服务，且并发不高。

结果：这8个服务算不上独立部署。

背景

公司线上有个tomcat服务，里面合并部署了大概8个微服务，之所以没有像其他微服务那样单独部署，其目的是为了节约服务器资源，况且这8个服务是属于边缘服务，并发不高，就算宕机也不会影响核心业务。

因为并发不高，所以线上一共部署了2个tomcat进行负载均衡。

这个tomcat刚上生产线，运行挺平稳。大概过了大概1天后，运维同事反映2个tomcat节点均挂了。无法接受新的请求了。CPU飙升到100%。

排查过程一

接手这个问题后。首先大致看了下当时的JVM监控。

CPU的确居高不下

FULL GC从大概这个小时的22分开始，就开始频繁的进行FULL GC，一分钟最高能进行10次FULL GC

minor GC每分钟竟然接近60次，相当于每秒钟都有minor GC

从老年代的使用情况也反应了这一点

随机对线上应用分析了线程的cpu占用情况，用top -H -p pid命令

可以看到前面4条线程，都占用了大量的CPU资源。随即进行了jstack，把线程栈信息拉下来，用前面4条线程的ID转换16进制后进行搜索。发现并没有找到相应的线程。所以判断为不是应用线程导致的。

第一个结论

通过对当时JVM的的监控情况，可以发现。