当前位置: 首页 > news >正文

Spring Boot Admin健康检查引起的Spring Boot服务假死

问题现象

最近在spring boot项目中引入了 spring-boot-starter-actuator 后,测试环境开始出现服务假死的现象,

且这个问题十分怪异,只在多个微服务中的简称A的这个服务中出现,其他服务都没有出现这个问题,

之所以说他是假死,是因为只是http请求无法访问进去了,但是该服务的定时任务却可以定时执行。

问题排查

通过查看jvm的线程信息发现,假死的A服务中,存在很多目前正在waiting状态的http nio线程,

进一步跟踪这些线程的堆栈信息,发现他们都在Alibaba Druid连接池的获取Connection方法中等待获取到最新的Connection,

第一反应是不是连接泄露了,存在慢sql、阻塞住的sql,或者手动获取connection但是没有归还的现象,

于是通过在定时任务代码中打印连接池的状态,发现也没有这种情况,而且连接池的最大连接数设置的也挺大的。

初步定位

通过观察该连接池的链接对象,发现是一个sql server数据库,但是我们的项目配置连接的其实是mysql,

在代码中搜索发现了有一个手动创建连接池的地方,而这里是为了与一个客户的sql server数据库做同步使用的,但是在给其他的客户部署时,并不需要这个操作,代码如下:

在这里插入图片描述
这里的操作有一个最大的问题,就是当不设置Druid连接池的等待连接时间时,该时间是-1,即默认永远等待,永不超时

最终定位

有了上面的代码,则需要确认为什么获取不到connection?造成永远等待?

这很正常,因为其他的客户环境并没有sql server,完全无法连接上啊,这时候Druid连接池中的可用connection压根没有,

然后spring boot admin,又不停的通过http轮询检查服务健康状态,最终它的每次http请求都会陷入阻塞等待connection,加之http又没有设置连接超时时间,

最终健康检查http连接占满了服务的http连接,导致其他的请求无法进入。

解决与避免

这里存在几个问题

  1. 该代码应当在指定客户环境运行,其余客户不应当创建该连接池
  2. 连接池配置应当通过yml文件配置,这样可以尽快的发现系统中存在的相关io组件,并发现其配置的不正确性,spring boot支持多数据源配置。
http://www.lryc.cn/news/271816.html

相关文章:

  • java企业人事信息管理系统Myeclipse开发mysql数据库web结构java编程计算机网页项目
  • 如何通过 useMemo 和 useCallback 提升你的 React 应用性能
  • ArkTS - @Prop、@Link
  • Python中matplotlib库的使用1
  • 位乘积计数-蓝桥
  • HCIA-Datacom题库(自己整理分类的)——OSPF协议判断
  • 【FPGA/verilog -入门学习16】fpga状态机实现
  • 记chrome的hackbar无法post php://input的问题
  • 相机解析驱动小记
  • EasyExcel判断导入时是否符合给定模板
  • BDD - Python Behave Retry 机制
  • 链 表
  • 一个可以用于生产环境得PHP上传函数
  • PyTorch中常用的工具(3)TensorBoard
  • Langchain-Chatchat开源库使用的随笔记(一)
  • 软件体系架构复习二
  • 产品经理学习-策略产品指标
  • 【c语言】日常刷题☞有趣的题目分享❀❀
  • LINUX 抓包工具Tcpdump离线安装教程
  • c语言-string.h库函数初识
  • PyTorch官网demo解读——第一个神经网络(4)
  • TCP发送和接受数据
  • SpringBoot快速集成多数据源(自动版)
  • mysql原理--Explain详解
  • 阶段五-JavaWeb综合练习-学生管理系统
  • DevC++ easyx实现视口编辑--像素绘图板与贴图系统
  • Visual studio 2010的安装与使用
  • Download Monitor Email Lock下载监控器邮件锁插件
  • 在vscode中创建任务编译module源文件
  • element ui级连选择,lazyLoad选择地区