Spring应用因Session Timeout设置引起的GC问题

最近在客户的要求下,对系统进行了压测。自己压测的时候一切指标都挺正常。但是客户却反馈说压测的时候有时候会碰到性能衰减很厉害,不稳定。于是有了下面这次的排查过程。客户反馈说问题是发生在多次连续压测之后碰到的,所以进行了一系列的测试。

先说一下测试环境的一些信息:测试主机是阿里云的ECS,配置是2C + 16G。为了方便,数据库采用的是Docker搭建的,版本是5.6.X。另外,这台机器上还安装了Zookeeper 3.4.X 和Kafka 1.0。系统本身是一个标准的Spring + CXF的应用,提供给客户使用的服务是标准的Restful接口。

1. 重现问题

因为客户反馈是多次压测之后碰到的,因此首先尝试连续压测多次看看能不能重现问题。为了可能存在的数据库性能问题,临时申请了RDS作为数据库;另外为了尽快发现问题,将程序占用内存缩小到1G。这次测试测出了客户所说的问题,通过jconsole监控也发现了问题原因,应该是因为GC导致的。


看图表可以发现,压测5~6分钟之后,Java的GC占用了大量的CPU时间(左上图中的蓝色线),而且内存占用一直居高不下(右上图)。

2. 调整内存使用量

把内存占用调整到2G,发现问题还是同样存在,只是出现问题的时间晚了,压测开始15分钟之后才会出现问题。也就是说问题是同样存在的,只是内存大了之后,把出现问题的时间拖后了而已。

3. 问题根源

通过上面的测试发现了问题是GC导致的,也就是系统中有些内存无法给GC回收,当内存达到Java虚拟机可以申请的上限的时候,会出现频繁的GC操作,从而导致GC操作占用大量CPU时间,必然导致系统本身的TPS下降。

通过分析dump文件,以及上网搜索,最终确认问题可能出现在Session超时时间设置上:
在Java Web开发中,Session为我们提供了很多方便,Session是由浏览器和服务器之间维护的。Session超时理解为:浏览器和服务器之间创建了一个Session,由于客户端长时间(休眠时间)没有与服务器交互,服务器将此Session销毁,客户端再一次与服务器交互时之前的Session就不存在了。

这个Session长短是可以设置的。默认情况下,什么也不设置的话Session超时时间是30分钟。设置方法是修改项目中的web.xml,如下面的配置是设置session时间为1分钟:

1
2
3
<session-config>
<session-timeout>1</session-timeout>
</session-config>

之前项目中都没有对session时间进行设置,因此会有大量的session信息被缓存,不到时间是无法GC的。而项目本身的服务是不依赖于session的,完全可以将session时间设置的更短一些。

4. 调整session时间为1分钟

这一轮测试基本信息如下:

  • 数据库使用RDS
  • 内存占用使用2G
  • Session设置为1分钟
    压测结果如下:


这次总共压测了30分钟,GC占用的CPU时间也非常少,内存也表现良好,可以正常GC回收。


性能表现一直稳定。

5. 数据库切换回Docker

上一轮测试结果给了很大的信心,因此决定把数据库切换为本机的Docker中的MySQL,其他的不变:


GC表现正常,内存也回收良好。


TPS降低了不少,之前是1700+,这次只有1250+了。这个一方面是所有服务运行在一台主机上带来的性能损耗,另一方面应该是Docker本身带来了一些损耗。

6. 调整为1G内存

再把内存调整为1G,再测试一次。


GC占用时间略有上升,但是总体还是很稳定。

7. 结论

如果你的系统本身不依赖于Web的Session机制,请把Session时间调小一些,这样在高负载的情况下,GC才能够正常工作。

附录A. 参考资料

热评文章