Java内存泄漏排查：一次线上故障的完整复盘
凌晨三点，报警电话让我从床上弹起
手机震动的那一瞬间，我其实已经预感到不妙。监控系统接连推送了三条P0级告警：核心交易接口RT飙升到15秒，老年代内存占比持续攀升至97%，Full GC频率从每小时一次变成了每三分钟一次。脑子里瞬间闪过的画面是：用户点提交按钮后，页面一直loading，直到超时白屏。这是每个后端开发最怕的噩梦——内存泄漏。
我顶着困意打开笔记本，SSH到那台有问题的生产服务器。top命令打出来，Java进程的RES已经占了接近8G，而堆最大只设了4G。这很不对劲，说明堆外也有内存泄露？还是堆内暴涨导致频繁GC，最终触发系统层面swap？来不及多想，我先用jstat -gcutil看了一眼GC状况。果不其然，老年代使用率在短短几次Full GC后迅速回升，每次都降不下去，典型的“内存释放不掉”场景。
这一刻，我脑海里蹦出了那个经典原则：“Java内存泄漏未必意味着代码真的没有释放对象，而是对象已经不可能被业务逻辑使用，却仍被GC Roots引用链强引用着。”很多初级开发会下意识想到“内存溢出”，但溢出的前提是先泄漏。线上的故障，99%都是从泄漏缓慢累积到临界点，然后在一瞬间爆发。我最怕的是那种“重启就好了”的侥幸心态，因为重启只能掩盖症状，根本治不了病。
带着一丝寒意，我开始了真正的排查之路。
甩开jmap，先用jstack摸清“谁在干活”
很多人遇到内存泄漏，第一反应就是jmap -dump:format=b一把梭，然后拖着几个G的dump文件慢慢分析。但生产环境有严格的性能要求——在全量dump瞬间，JVM会STW（Stop-The-World），所有用户线程会被挂起。对于一个QPS上万的系统，每多停一秒都有可能导致雪崩。我决定从轻量级工具入手。
先用jstack抓取线程堆栈，重点观察那些“正在执行”的线程。在输出的海量栈信息中，我发现大量线程都卡在了一个名叫UserSessionManager.refreshSession()的方法中，而且这些线程的状态全部是BLOCKED。再细看，所有线程都在竞争同一把锁——一个ConcurrentHashMap上的锁。这显然不对劲，因为这个方法理应是无锁设计，怎么会在这里出现激烈争用？
紧接着我用jmap -histo:live看了存活对象分布，排在最前面的是一个叫SessionContextCache的对象，其实例数量达到了惊人的1200万个，而正常情况下这个数字应该不超过5万。这就是典型的“对象堆积型泄漏”——可以被GC回收的对象没有被回收，因为引用链没有断。
但我没有立刻dump。我先做了一件事：通过jstack和jstat的组合，我快速定位到了问题模块和对象类型，这就够了。接下来才是重头戏：弄清楚这些SessionContextCache对象为什么“死不了”。
怀疑对象：ThreadLocal的“无形之手”
基于已有的栈信息和对象分布，我把目标锁定在SessionContextCache的引用来源上。通过jmap -dump:live,format=b我生成了一个相对干净的dump文件，然后用Eclipse MAT加载分析。进入MAT的“Leak Suspects”（泄漏嫌疑点）视图，系统自动给出了一个高概率嫌疑：java.lang.ThreadLocal持有大量SessionContextCache实例。
这个结果让我脊背一凉。ThreadLocal是内存泄漏的老演员了，尤其在高并发web应用中，如果开发者没有养成良好的清理习惯，它几乎必然会在生产环境埋下隐患。我经常跟团队说的一句话是：ThreadLocal从来不是“线程隔离”的银弹，它是“线程上下文”的隐雷。每一个使用ThreadLocal的变量，一旦线程归还到线程池，它的值就会像幽灵一样附着在池中的线程上，直到下一次请求进来被复用。
我立刻查看了代码。果然，在UserSessionManager中，一个名叫userContextHolder的ThreadLocal变量，用于存放当前登录用户的会话上下文。每次用户登录或请求进入，代码会set一个新值，但在请求结束的finally块里，竟然完全没有任何remove操作。这意味着，所有被线程池复用的线程里，都残留着上一个请求的SessionContextCache对象。
更致命的是，这个SessionContextCache内部又持有一个指向用户数据、权限列表、Token等大对象的强引用。这些对象本应在请求结束后变为不可达，但因为ThreadLocal把它们“绑定”在了线程上，GC完全无法回收。时间一长，线程池里几百个线程，每个线程都附着一个几KB甚至几十KB的对象，累积下来就是几十GB的泄漏。
ThreadLocal泄漏最可怕的地方在于：它不像常规的OOM那样瞬间爆发，而是像温水煮青蛙，随着系统运行时间的推移，内存占用量稳定攀升。很多运维同学可能觉得“内存没爆就行”，但实际上，当老年代使用率超过80%时，CMS GC就会开始频繁触发，STW时间成倍增长，最终导致系统响应变慢甚至超时。
陷阱不止一个：类加载器泄漏的隐性杀手
在我准备修复ThreadLocal问题之前，MAT又提示了第二个疑点：org.apache.commons.pool2.impl.GenericObjectPool中有大量引用链指向SessionContextCache。顺着这条链往下看，我发现这些对象被一个名为“TomcatEmbeddedWebappClassLoader”的类加载器强引用着。
这意味着什么？类加载器泄漏是Web应用中最隐蔽、最致命的泄漏类型之一，它的特征往往是“重启后消失，过一段时间又回来”。核心原因在于，像Tomcat这样的Web容器，每个应用对应一个独立的WebappClassLoader。如果某些外部框架或组件持有了这个类加载器的引用，那么就算应用被卸载，这个类加载器也无法被回收，它加载过的所有Class和对应实例都会永久驻留堆中。
在我们的场景中，罪魁祸首是一个自定义的“热加载插件系统”。这个系统允许运维动态上传一些Groovy脚本（用于临时修改某些业务规则），而每个脚本在解析时都会生成一个新的GroovyClassLoader实例。问题出在哪里呢？这些GroovyClassLoader实例没有被正确地释放，它们被一个全局的Map<String, GroovyClassLoader>缓存了起来，而key是脚本文件的路径。当运维上传了新版本的脚本文件时，路径相同，旧的ClassLoader就会被新的替换掉——但旧ClassLoader虽然没有了强引用，却被Apache Commons Pool2组件间接引用着，导致它永远不会被GC。
这就形成了一个双层泄漏：第一层是ThreadLocal造成的对象泄漏；第二层是类加载器泄漏，导致大量已经废弃的Class和对象占据永久代或元空间。两者的叠加效应使得系统如同筛子一般，无论如何调整堆大小，内存总是被填满。
谁能想到，阻塞队列也是帮凶
排查进行到这里，已经挖出了两个显性的泄漏点。按照常规逻辑，修复这两处问题应该就能让内存稳定下来。但直觉告诉我，事情没这么简单。因为如果只有ThreadLocal和类加载器泄漏，内存曲线应该是相对平滑的上升；而我们的监控数据显示，在某些流量高峰时段，内存会在几秒钟内突然跳涨3-5倍。
任何“突然”的跳涨都暗示着存在瞬时、大量对象的生成，且这些对象无法被立刻回收。我重新审视了UserSessionManager的业务逻辑，发现一个被很多人忽略的设计：每个用户请求进来，系统会创建一个SessionContextCache，然后将其放入一个LinkedBlockingQueue（大小为10000）中，用作后续异步写入日志的缓冲队列。
问题就在于此。当系统出现大量慢请求或超时请求时，入队速度远大于消费速度，这个阻塞队列会瞬间被填满。填满之后呢？代码中的offer()方法会立即返回false，但后续的逻辑并没有做降级或丢弃，而是不断尝试重试——这导致在队列满时，创建出来的SessionContextCache对象虽然没能入队，却被临时变量持有，等待下次重试时再次尝试入队。
等队列满到10000个容量的极限后，系统陷入了恶性循环：每次请求都创建新对象→尝试入队失败→重试→等待→队列持续满→更多对象被创建而无法释放。这个过程持续几十秒，每秒可能创建上万个SessionContextCache对象，直接推高Young GC次数，最终让老年代吃不消。
我在这里悟到了一个教训：阻塞队列不是万能的流量缓冲区，不加背压的队列就是内存泄漏的放大器。任何阻塞队列的使用场景都必须搭配丢弃策略、限流或者背压机制，否则它就是一个“吸内存黑洞”。
复盘的灵魂：从根因到系统级改造
凌晨四点，我终于整理出了完整的问题树：
根因一：ThreadLocal未清理→ 每个请求的SessionContextCache无法被GC → 线程复用导致对象堆积。
根因二：GroovyClassLoader泄漏→ Commons Pool2持有废弃的类加载器引用 → 元空间撑爆。
根因三：LinkedBlockingQueue背压缺失→ 瞬时高流量导致队列满 + 对象暴增 → 触发老年代积压。
修复方案反而很简单：
对于ThreadLocal：在请求的finally块显式调用remove()，并给每个线程池的线程绑定一个钩子（ThreadPoolExecutor.afterExecute()）做二次清理。
对于GroovyClassLoader：修改缓存策略，不再使用全局Map，而是改用WeakHashMap，让废弃的ClassLoader在GC时自动释放。
对于阻塞队列：引入带背压的异步缓冲区，当队列使用率超过80%时直接丢弃请求，或者通过ShedLock实现本地限流。
但我不想只做一个“修bug”的技术复盘。真正让我警惕的是，这三类问题为何会同时出现在一个系统中？答案指向了团队的技术债：我们在追求快速迭代时，大量引入了中间件、热加载机制和异步队列，却从未对这些组件的内存管理做任何压力测试。每一个看似“自动化”的技术方案背后，都藏着它特有的资源管理哲学。
我决定推动两项长期改进：
第一，所有使用了ThreadLocal的代码必须过CR（Code Review），并且在CI流水线中加入静态检查规则，类似com.puppycrawl.tools.checkstyle.checks.coding.FinalLocalVariableCheck之类，可以编写自定义规则检测ThreadLocal的set和remove是否成对出现。
第二，在性能测试阶段引入“慢速泄漏检测”，通过JMeter或Locust持续压测72小时，并用JProfile或JFR记录堆增长曲线。任何超过线性增长的内存趋势，都在测试阶段被捕获，而不是等到生产环境由报警触发。
给所有后端开发者的三条铁律
这次故障让我对人脑在复杂系统中的决策能力产生了深深的怀疑。一个内存泄漏，表面上是代码问题，本质上是系统设计对资源生命周期管理的忽视。我总结了三条在实践中验证过的原则，希望能帮助你少踩一些坑：
第一条：任何“线程局部”存储都必须有一个明确的“生命周期终结者”。不管是ThreadLocal、InheritableThreadLocal，还是线程池中的ThreadLocalMap，只要你的代码涉及“为每个请求创建一次、跨方法调用共享”的变量，就必须在同一请求的边界内主动清理它。我强烈推荐在Spring的HandlerInterceptor中增加一个通用的清理过滤器，在afterCompletion阶段统一调用UserContextHolder.clear()。把清理动作嵌入框架，而不是依赖每个开发的手写finally块，是唯一能防止遗漏的办法。
第二条：类加载器泄漏不是你的知识盲区，它是每一次热加载和动态代码执行的代价。如果你在项目中使用Groovy、JRuby、Scala REPL或者任何形式的动态语言支持，务必带上“应用卸载后还会存留什么”的视角去看问题。一个非常实用的技巧是：上线后通过jmap -clstats（或jcmd <pid> VM.class_loader_stats）定期查看ClassLoader数量，如果比启动时多了好几个，且无法解释，那你很可能已经踩中了类加载器泄漏。
第三条：阻塞队列不是内存的保险箱，它是流入流出速差的显示器。永远不要假设消费者能跟上生产者的节奏。在生产环境，最好在队列对象上加上maxWait和rejectHandler，并且设置一个兜底的丢弃策略。我见过太多团队把LinkedBlockingQueue当成了无限的“消息堆栈”，结果在高并发下被撑爆。记住：控制输入端的速率，永远比放大输出端的容量更安全。
尾声：全链路压测的最后一课
第二天下午，我们完成了修复并灰度上线。观察了72小时后，老年代内存使用率稳定在30%以下，Full GC频率降回了每天仅两次。最直观的用户体验是：下单页面的响应时间从15秒回退到了200毫秒，系统安静得像一台刚开机的服务器。
但我没有立即宣布问题已解决。我让团队把压测流量提升到峰值的2倍，持续跑了48小时——这次没有出现任何异常。这就是全链路压测的价值：它不只是检验功能，更是对系统资源生命周期的全面审视。许多内存泄漏只有在持续高负载下才会暴露，低负载时看起来“完全没问题”的堆增长曲线，一旦放大就原形毕露。
回看这次复盘，最让我庆幸的不是找出了三个根因，而是让我再次确认：Java内存管理从来不是一个“知道概念就行”的知识。它在实战中会以最反直觉的方式给你上了一课——比如ThreadLocal的幽灵引用、类加载器的不可见依存、阻塞队列的背压陷阱。没有哪个工具是万能的，但保持对“对象如何存活、如何死去”的追问，是所有后端开发者必须修炼的内功。
最后分享一个我写在团队Wiki里的警句：“你的代码写的不是一行行指令，而是一张张对象的生死契约。每一次将引用指向一个对象，都是在向社会承诺：我会记得在它使命结束时收回这个承诺。”当你的代码符合这种契约精神，内存泄漏自然无隙可乘。
这世界上的Java故障，99%都不是因为技术不行，而是因为忘了做那件最简单也最容易被忽略的事——清理。