一文带你搞懂大事务的前因后果
引言
一文带你搞懂Spring事务上篇文章介绍了Spring事务相关内容，本文主要介绍业务开发中遇到的大事务问题。
https://github.com/WeiXiao-Hyy/blog 整理了Java,K8s,极客时间,设计模式等内容，欢迎Star!
什么是大事务
运行时间（调用远程事务或接口中需要执行的SQL比较多）比较长，长时间未提交的事务可以称之为大事务。
大事务产生的原因
- 操作的数据比较多
- 大量的锁竞争
- 事务中其他非DB的耗时操作
- ……
大事务造成的影响
- 并发情况下，数据库连接池容易被撑爆
- 锁定太多的数据，造成大量的阻塞和锁超时
- 执行时间长，容易造成主从延迟
- 回滚所需要的时间比较长
- undo log 膨胀
- ……
通用解法
- 使用编程式事务
- 查询放到事务外侧，避免不必要的查询
- 避免一次处理太多数据
- 异步操作(需要考虑的是监控重试+兜底补偿)
- 避免耗时太多的操作，造成事务超时
基于MySQL5.7的解法
- 如果你的事务中需要锁多个行，要把最可能造成锁冲突、最可能影响并发度的锁尽量往后放
- 通过 SETMAX_EXECUTION_TIME 命令， 来控制每个语句查询的最长时间，避免单个语句意外查询太长时间
- 监控 information_schema.Innodb_trx 表，设置长事务阈值，超过则报警或者kill
- 在业务功能测试阶段要求输出所有的 general_log ,分析日志行为提前发现问题
- 设置 innodb_undo_tablespaces 值，将 undo log 分离到独立的表空间。如果真的出现大事务导致回滚段过大，这样设置后清理起来更方便
案例说明
使用编程式事务
class A {@Transactional(propagation = Propagation.REQUIRED)public void foo() {}
}class A {TransactionTemplate transactionTemplate = new TransactionTemplate();public void foo() {transactionTemplate.executeWithoutResult(transactionStatus -> {try {} catch (Exception e) {transactionStatus.setRollbackOnly();}});}
}
避免一次处理太多数据
如果在内存处理大量的数据时占用druid线程池中线程时间过长，可能会导致大事务回滚。原因如下:
druid配置参数
spring:datasource:druid:remove-abandoned: true # 获取连接后, 如果空闲时间超过removeAbandonedTimeoutMills秒后没有close, druid会默认回收;remove-abandoned-timeout: 60 # 超时时间 默认秒;log-abandoned: true # 如果回收了连接，是否要打印一条 log，默认 false;
如果事务中需要锁多个行，把最可能造成锁冲突、影响并发度的锁尽量往后放
MySQL事务，两阶段锁协议
在InnoDB事务中，行锁是在需要的时候才加上的，但并不是不需要了就立即释放，而是等待事务结束时才释放。
案例举例
假设实现一个电影票在线交易业务，顾客A要在影院B购买电影票，简化一点，需要涉及到以下操作：
- 从顾客A账户余额中扣除电影票价
- 给影院B的账户余额增加电影票价
- 记录一条交易日志
如果另一个顾客C要在影院B买票,那么这两个事务冲突的部分就是语句2,如果把语句2安排在最后,那么影院账户余额这一行的锁时间最少。这就最大程度地减少了事务之间的锁等待，提升了并发度。
提供一个可行的解决方案
参考JDK1.7的ConcurrentHashMap的分段锁设计，将一行数据改成逻辑上的多行数据来减少锁冲突，以影院的账户为例，可以将一个账号信息放在多条记录上，比如10个记录，影院的账户总额等于这10个记录的值的总和。这样每次要给影院账户加金额的时候，随机选其中一条记录来加。这样每次冲突概率变成原来的1/10，可以减少锁等待个数，也就减少了死锁检测的CPU消耗。
先锁和后锁的区别
- 先锁：如果在事务开始时就锁定高冲突资源，那么这个资源在整个事务期间被锁定，直到事务结束。这意味着其他事务在整个事务期间都必须等待这个锁释放;
- 后锁：如果在事务的最后才锁定高冲突资源，那么这个资源的锁定时间会缩短, 因为前面的操作已经完成，锁定和释放的时间间隔变短。这样，其他事务等待这个锁的时间也会缩短;
Undo log 膨胀
所有更改的数据都需要记录在undo log中。如果事务非常大，涉及大量的数据修改，那么undo log就会迅速增长，这就是所谓的"膨胀"。
参考资料
- https://juejin.cn/post/7213636024110956599
- https://juejin.cn/post/6850418121703882765
- https://blog.csdn.net/zhizhengguan/article/details/120997766