当前位置: 首页 > news >正文

记一次接口优化历程 CountDownLatch

问题:接口查询时间长,原因在于接口中含有多个组合for循环,且循环中还有SQL调用、rpc调用。
在索引已经最优的情况下,由于n*m次查询,导致接口耗时很慢。
参考文档:https://blog.csdn.net/liu_da_da/article/details/124983187

排查过程:
1.检查所有代码结构,查看每一个sql是否已经添加索引。
2.根据阿里云arms,查询接口链路调用,确认sql、rpc等已经最简,且无法优化。
3.思路:使用多个线程,同时去查询,最后汇总结果返回;

优化1:

List<ClassifyInfo> parentList = classifyInfoMapper.selectList(Wrappers.<ClassifyInfo>lambdaQuery().select(ClassifyInfo::getId, ClassifyInfo::getParentId).eq(ClassifyInfo::getSceneCode, param.getSceneCode())
);
List<ContractFileClassifyDTO> list = new ArrayList<>();
if (CollectionUtils.isNotEmpty(parentList)) {for (ClassifyInfo parent : parentList) {customTaskExecutor.execute(() -> {// 业务代码this.assembleFileClassify(list, parent);});}
}
return list;

异常:返回list为空?
原因:for循环时,一旦使用多线程,循环扔进线程池,本次循环立马结束,接着下一个循环。如此往复,最后直接返回list。
由于循环很快结束,而业务代码执行很慢,导致业务代码未执行完,list中未添加数据,接口已经结束,最后返回空。

解决:使用CountDownLatch,是一种同步工具,它可以使一个或多个线程等待其他线程完成操作后再继续执行。
也就是主线程要等待所有for循环子线程执行完毕之后,再统一汇总返回结果。

优化2:

List<ClassifyInfo> parentList = classifyInfoMapper.selectList(Wrappers.<ClassifyInfo>lambdaQuery().select(ClassifyInfo::getId, ClassifyInfo::getParentId).eq(ClassifyInfo::getSceneCode, param.getSceneCode())
);
CountDownLatch latch = new CountDownLatch(parentList.size());
List<ContractFileClassifyDTO> list = new ArrayList<>();
if (CollectionUtils.isNotEmpty(parentList)) {for (ClassifyInfo parent : parentList) {customTaskExecutor.execute(() -> {this.assembleFileClassify(list, parent);// 当前线程执行完毕,计数器减1latch.countDown();});}
}
// 等待所有线程执行完毕,统一返回结果
latch.await();
return list;

优化3:

// 1.根据合同场景,查询合同大类
List<ClassifyInfo> parentList = classifyInfoMapper.selectList(Wrappers.<ClassifyInfo>lambdaQuery().select(ClassifyInfo::getId, ClassifyInfo::getParentId).eq(ClassifyInfo::getSceneCode, param.getSceneCode())
);
if (CollectionUtils.isEmpty(parentList)) {return Collections.emptyList();
}CountDownLatch latch = new CountDownLatch(parentList.size());
CopyOnWriteArrayList<ContractFileClassifyDTO> list = new CopyOnWriteArrayList<>();
for (ClassifyInfo parent : parentList) {customTaskExecutor.execute(() -> {this.assembleFileClassify(list, parent);// 当前线程执行完毕,计数器减1latch.countDown();});
}
// 等待所有子线程执行完毕,统一返回结果
latch.await();
return list;

总结
未优化前,一个线程执行两个for循环,需要执行nm次,时间复杂度为nm
优化后,使用多线程,时间复杂度为n。

优化4:
当前某个子线程执行异常时,计数器额未减1,导致最后结果为空。
解决:

// 1.根据合同场景,查询合同大类
List<ClassifyInfo> parentList = classifyInfoMapper.selectList(Wrappers.<ClassifyInfo>lambdaQuery().select(ClassifyInfo::getId, ClassifyInfo::getParentId).eq(ClassifyInfo::getSceneCode, param.getSceneCode())
);
if (CollectionUtils.isEmpty(parentList)) {return Collections.emptyList();
}CountDownLatch latch = new CountDownLatch(parentList.size());
CopyOnWriteArrayList<ContractFileClassifyDTO> list = new CopyOnWriteArrayList<>();
for (ClassifyInfo parent : parentList) {customTaskExecutor.execute(() -> {try {this.assembleFileClassify(list, parent);} catch (Exception e) {log.error("组装文件分类异常:{}", parent);} finally {// 无论当前线程是否正常执行完毕,计数器都减1latch.countDown();}});
}
// 所有子线程执行完毕,等待的主线程恢复执行
latch.await();
return list;

解决:
1.添加try flnally,无论子线程是正常执行完毕,计数器都减1。
最终异常的那个线程数据,未返回。

2.用 boolean await(long timeout, TimeUnit unit),设置过期时间

执行顺序:
1.主线程 CountDownLatch latch = new CountDownLatch(companyGroup.size());
2.主线程 latch.await();
3.子线程 this.Oa0501DraftContract(param, map, fileClassify, entry);
4.子线程 latch.countDown();
5.主线程 return;

http://www.lryc.cn/news/583205.html

相关文章:

  • 景观桥 涵洞 城门等遮挡物对汽车安全性的影响数学建模和计算方法,需要收集那些数据
  • 【软件运维】前后端部署启动的几种方式
  • Live555-RTSP服务器
  • Linux——I/O复用
  • 零知开源——STM32F407VET6驱动SHT41温湿度传感器完整教程
  • Linux 中的 .bashrc 是什么?配置详解
  • Python 初识网络爬虫:从概念到实践
  • 什么是公链?
  • 微软 Bluetooth LE Explorer 实用工具的详细使用分析
  • 新零售“云化”进化:基于定制开发开源AI智能名片S2B2C商城小程序的探索
  • 【视频观看系统】- 技术与架构选型
  • HashMap源码分析:put与get方法详解
  • 爬楼梯及其进阶
  • Kubernetes 存储入门
  • 由 DB_FILES 参数导致的 dg 服务器无法同步问题
  • 搭建一款结合传统黄历功能的日历小程序
  • 汽车智能化2.0引爆「万亿蛋糕」,谁在改写游戏规则?
  • A1220LUA-T Allegro高精度霍尔效应开关 车规+极致功耗+全极触发 重新定义位置检测标准
  • 【Gin】HTTP 请求调试器
  • 微软官方C++构建工具:历史演变、核心组件与现代实践指南
  • Rust与Cypress应用
  • 在Ubuntu上安装配置 LLaMA-Factory
  • 人工智能-基础篇-27-模型上下文协议--MCP到底怎么理解?对比HTTP的区别?
  • AI应用实践:制作一个支持超长计算公式的计算器,计算内容只包含加减乘除算法,保存在一个HTML文件中
  • Apache Tomcat SessionExample 漏洞分析与防范
  • 【AI大模型】PyTorch Lightning 简化工具
  • Node.js 是什么?npm 是什么? Vue 为什么需要他们?
  • Flutter基础(前端教程⑦-Http和卡片)
  • 【数字后端】- Standard Cell Status
  • SQLZoo 练习与测试答案汇总(复杂题有最优解与其他解法分析、解题技巧)