当前位置: 首页 > news >正文

Hibernate QueryPlanCache 查询计划缓存引发的内存溢出

目录

    • 1.排查方式
    • 2.结论
    • 3.解决办法

前言:在生产环境中有一个后端程序多次报oom然后导致程序中断。

1.排查方式

通过下载后端程序产生的oom文件,将oom文件导入MemoryAnalyzer程序分析程序堆内存使用情况。


1、将oom文件导入MemoryAnalyzer后可以看到概览信息界面。总共堆空间是5.6G,【org.hibernate.internal.SessionFactoryImpl @ 0x6c9877ab8】 这个对象占用 128 B 回收后可释放 4.8 GB,接下来看一下这个里面有哪些对象
在这里插入图片描述

2、第二步我们点开泄漏疑点看下分析报告
在这里插入图片描述

3、通过分析报告看到 org.hibernate.internal.SessionFactoryImpl 这个对象引用占用了总内存的 85.53%,总共引用大小是 5,116,381,640 字节,也就是 4.8G的大小。可以看到他引用了 QueryPlanCache 这个对象。

在这里插入图片描述


4、点开左上角第二个图标对象创建直方图,这里可以看到每个类有多少个实例,以及占用的内存。

可以看到这个char占用了很多内存,可以右键 List objects → with incoming references,就可以列出所有的char[]实例,以及每个char[]的整个引用关系链

在这里插入图片描述

通过关系链可以看到char实例都是存储的一些sql语句,点开第一个发现最后被HQLQueryPlan查询计划类引用了

在这里插入图片描述

5、点开左上角第三个图标打开整个堆的支配树,可以看到第一个实例占比达到了 85.53%。

在这里插入图片描述
我们点开这个占比 85.53% 的对象发现都是被 org.hibernate.internal.util.collections.BoundedConcurrentHashMap 这个对象引用了。

往下继续点开发现基本都是查询语句,发现每个查询语句都是一样的,就是后面in的参数不同,继续点开其他的发现都是这个语句

select count(generatedAlias0) from BizReportCatalogAttach as generatedAlias0 where generatedAlias0.bizTableFillId in (:param0_0, :param0_1, :param0_2, .... , :param0_68)

在这里插入图片描述

点开这个sql语句的参数发现 in 里面有3万多个参数,其他的SQL语句都是一样,就是 in 的参数不一样所以被缓存起来了

在这里插入图片描述


2.结论

至此,可以判断是被 Hibernate QueryPlanCache 查询计划JPQL缓存导致的问题。里面的SQL每次执行时随着in的参数不同导致Hibernate重复缓存SQL

hibernate会缓存sql语句以减少重复编译,便于直接命中提高效率。这个缓存默认QueryPlanCache的map entry默认容量上限是2048,且在使用in时,只要in后面的参数有任何一个不一样的,就会视为不同的语句而保存下来。


3.解决办法

通过配置Hibernate缓存sql语句的最大个数配置来限制缓存个数

在application.properties中添加如下配置

#指定Hibernate查询计划缓存sql语句的最大个数, 默认2048, 详见org.hibernate.engine.query.spi.QueryPlanCache
spring.jpa.properties.hibernate.query.plan_cache_max_size=64
#指定Hibernate查询计划参数元数据缓存的最大大小, 管理缓存中ParameterMetadata实例的数量(默认为128), 详见org.hibernate.engine.query.spi.QueryPlanCache
spring.jpa.properties.hibernate.query.plan_parameter_metadata_max_size=32

如果hibernate 5.2.17+时,还可以添加此配置以减少IN子句的SQL计划缓存。
参考文档:https://docs.jboss.org/hibernate/orm/5.6/userguide/html_single/Hibernate_User_Guide.html

#Hibernate可以根据参数格式的几何算法进行生成缓存,例如生成2个参数、4个参数、2^2个参数的SQL,从而优化IN子句的使用,减少不必要的SQL计划缓存,避免因大量使用IN查询而导致内存溢出的问题‌
spring.jpa.properties.hibernate.query.in_clause_parameter_padding=true

添加配置后通过debug启动可以在这里打断点看下我们的配置是否生效,我们在这里能看到上面很熟悉的三个身影:SessionFactoryImplementor、QueryPlanCache、BoundedConcurrentHashMap 这三个类,SessionFactoryImplementor 的引用占用了85.53%的堆空间

在这里插入图片描述

http://www.lryc.cn/news/435157.html

相关文章:

  • 前端开发的观察者模式
  • Pycharm 输入三个引号没有自动生成函数(方法)注释
  • lammps后处理:多帧孔洞体积和孔隙率的计算
  • 免费且实用:UI设计常用的颜色参考网站和一些Icon设计网站
  • log4j日志封装说明—slf4j对于log4j的日志封装-正确获取调用堆栈
  • JVM面试真题总结(六)
  • C语言代码练习(第十八天)
  • linux上使用rpm的方式安装mysql
  • html 中如何使用 uniapp 的部分方法
  • Samtec连接器小课堂 | 连接器电镀常识QA
  • 大模型备案全网最详细流程解读(附附件+重点解读)
  • 基于2143规则编码的uint8_t如何转换成float
  • [项目][WebServer][整体框架设计]详细讲解
  • SprinBoot+Vue网上购物商城的设计与实现
  • 【数据结构】2——二叉树遍历
  • 数据结构应用实例(五)——关键路径
  • 组播 2024 9 11
  • 揭秘开发者的效率倍增器:编程工具的选择与应用
  • 在AI的时代,程序员如何才不被淘汰
  • tabBar设置底部菜单选项以及iconfont图标,setTabBar设置TabBar和下拉刷新API
  • 2024C题prompt
  • Numpy中数组的形状处理
  • 【动态规划】子序列问题二(数组中不连续的一段)
  • 可视耳勺方便吗?可视耳勺热销第一名品牌!
  • micropython 3-wire spi 9bit 写入的问题
  • 导致JVM内存泄露的ThreadLocal详解
  • windows下关闭解除占用端口的进程
  • Baumer工业相机堡盟工业相机如何通过NEOAPI SDK获取相机当前数据吞吐量(Python)
  • 版权与开源协议:一场创新与自由的边界之争
  • 学生用的蓝牙耳机推荐有哪些?实测四款实力出众机型!