当前位置: 首页 > news >正文

并发修改导致MVCC脏写问题

并发修改导致MVCC脏写问题

一、概要

1.1 业务场景

数据库表结构设计: 一个主档数据,通过一个字段,逗号分隔的方式去关联其他明细信息的id。

如主档数据A,有3条明细数据与A关联,其id分别是1,2,3,那么其存储在关联字段的值为1,2,3。

操作场景:

接口设计操作:①根据id查询主档数据 ②获取主档数据关联的明细id ③更新主档明细id

入参:主档id、明细id(这里不传列表,是因为相应参数需要返回相应的信息,因此就涉及成这样了)

在实际应用中,可能需要涉及到批量新增的操作,因此前端会出现某一时间点,同时调用多次该接口,导致MVCC脏写问题。

1.2 DEMO 初始化

MySQL中创建demo表

# 建表
CREATE TABLE `test` (
`id` INT(11) NOT NULL COMMENT '主档id',
`ids` VARCHAR(255) DEFAULT NULL COMMENT '关联ids',
PRIMARY KEY (`id`)
) ENGINE=INNODB DEFAULT CHARSET=utf8;

建立相应的web三层架构:controller、service、mapper

controller

@RestController
@RequestMapping("/demo")
public class democontroller {@Resourceprivate demoService demoservice;@GetMapping("/test")public void test(Long id, String relId) {demoservice.test(id, relId);}}

service

public interface demoService {void test(Long id, String relId);
}

service-实现类

@Slf4j
@Service
public class demoServiceImpl extends ServiceImpl<DemoMapper, Demo> implements demoService {@Override@Transactional(rollbackFor = Exception.class)public void test(Long id, String relId) {// 获取主档对象Demo demo = getById(id);// 打印当前线程获取到的ids列表log.info("Thread Name:{}, before demo:{}",Thread.currentThread().getName(), demo);// 获取当前关联明细idList<String> idsList =  Arrays.stream(demo.getIds().split(",")).collect(Collectors.toList());// 添加新的元素(去重操作省略)idsList.add(relId);// 更新关联字段demo.setIds(idsList.stream().collect(Collectors.joining(",")));// 打印当前线程获取到的ids列表log.info("Thread Name:{}, after demo:{}",Thread.currentThread().getName(), demo);updateById(demo);}
}

mapper

@Mapper
public interface DemoMapper extends BaseMapper<Demo> {
}

实体类

@Data
@EqualsAndHashCode(callSuper = true)
@TableName("test")
public class Demo extends Model<Demo> {@TableId(value = "id", type= IdType.ASSIGN_ID)private Integer id;private String ids;}

1.3 问题复现

数据初始化

INSERT INTO `study_test`.`test`(`id`, `ids`) VALUES (1, '1');

在这里插入图片描述

通过apifox开三个线程并发调用“/demo”接口,入参如下所示:id固定为1,relId为一个整数值(1-999随机数)

在这里插入图片描述

调用结果如下所示
在这里插入图片描述

在这里插入图片描述

问题到此复现。

二、 原因分析

原因已经在标题中打出来了,即MVCC的脏写问题,当我们使用@Transactional(rollbackFor = Exception.class)注解后,Spring 会为当前事务设置 MySQL 会话的事务隔离级别为MySQL默认隔离级别即RR(可重复读)。

我们在打个断点后,通过apifox发起并发访问

在这里插入图片描述

在MySQL中通过select trx_state, trx_started, trx_mysql_thread_id, trx_query, trx_isolation_level from information_schema.innodb_trx;命令查看当前执行中且未提交的事务,可以看到此时有三条事务正在运行中,并且他们的隔离级别是可重复读(RR)

在这里插入图片描述

由于在RR隔离级别下,访问数据(即getById操作)访问的数据是通过MVCC实现的快照读,此时在并发访问的情况下,可能三个事务查询到的结果都是一样的,所以导致最后在更新的时候只出现了新增成功一个值。

三、解决

3.1 将隔离级别改成串行(无效)

一开始是这个想法,因为串行级别下都是会加锁的,因此通过改变@Transactional参数:@Transactional(rollbackFor = Exception.class, isolation = Isolation.SERIALIZABLE)将事物隔离级别改成串行也许可以解决问题。

当我们并发调用该接口后,发生报错,即在尝试加锁的时候,检测到了死锁

2024-12-16 23:59:48.615 ERROR 45800 --- [nio-6666-exec-3] o.a.c.c.C.[.[.[/].[dispatcherServlet]    : Servlet.service() for servlet [dispatcherServlet] in context with path [] threw exception [Request processing failed; nested exception is org.springframework.dao.DeadlockLoserDataAccessException: 
### Error updating database.  Cause: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Deadlock found when trying to get lock; try restarting transaction
### The error may exist in com/example/mapper/DemoMapper.java (best guess)
### The error may involve com.example.mapper.DemoMapper.updateById-Inline
### The error occurred while setting parameters
### SQL: UPDATE test  SET ids=?  WHERE id=?
### Cause: com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Deadlock found when trying to get lock; try restarting transaction
; Deadlock found when trying to get lock; try restarting transaction; nested exception is com.mysql.cj.jdbc.exceptions.MySQLTransactionRollbackException: Deadlock found when trying to get lock; try restarting transaction] with root cause

打个断点,将其中两个事物停在查询查找后更新操作前,将其中一个操作停在更新操作后

在这里插入图片描述

通过命令select trx_state, trx_started, trx_mysql_thread_id, trx_query, trx_isolation_level from information_schema.innodb_trx;查看当前未提交的任务

可以看到有三个未提交事务其中一个在进行更新操作的时候发生了锁等待

在这里插入图片描述

通过命令 SELECT * FROM INFORMATION_SCHEMA.INNODB_LOCKS;查看一下当前加锁情况

结果就是两个事务给数据加了S锁,一个事务需要给更改记录加X锁,同时前两个事物在后面也需要给数据加X锁,造成了死锁。

在这里插入图片描述

注:关于多线程并发访问打断点需要进行如下设置

在这里插入图片描述

3.2 开批量新增接口(无效)

开批量新增接口,将需要关联的id通过一个接口传入,而不是同时调用三次接口分别传入来解决该问题,但是如果在并发场景下还是会出关联id丢失的问题。

3.3 乐观锁 (无效)

相关乐观锁实现可以参考mybatis-plus官网的文档:https://baomidou.com/plugins/optimistic-locker/。(乐观锁在我理解上就是做版本控制,每次更新操作都要对版本进行验证)

这里直接采用mybatis-plus提供的配置方式进行测试

配置文件

@Configuration
public class MybatisPlusConfig {@Beanpublic MybatisPlusInterceptor mybatisPlusInterceptor() {MybatisPlusInterceptor interceptor = new MybatisPlusInterceptor();interceptor.addInnerInterceptor(new OptimisticLockerInnerInterceptor());return interceptor;}
}

实体类:

@Data
@EqualsAndHashCode(callSuper = true)
@TableName("test")
public class Demo extends Model<Demo> {@TableId(value = "id", type= IdType.ASSIGN_ID)private Integer id;private String ids;@Versionprivate Integer version;}

在数据表test中新增一个字段version,并设置其值为版本为2,再次并发调用接口,查看当前版本都为2

在这里插入图片描述

3.4 悲观锁(有效)

采用JUC、分布式锁等进行加锁,此时只有获取到锁的线程才可以对这一条数据进行操作,就不会出现并发问题。

修改代码,这里使用JUC下的ReentrantLock

@Slf4j
@Service
public class demoServiceImpl extends ServiceImpl<DemoMapper, Demo> implements demoService {private Lock lock = new ReentrantLock();@Override@Transactional(rollbackFor = Exception.class)public void test(Long id, String relId) {lock.lock();// 获取主档对象Demo demo = getById(id);// 打印当前线程获取到的ids列表log.info("Thread Name:{}, before demo:{}",Thread.currentThread().getName(), demo);// 获取当前关联明细idList<String> idsList =  Arrays.stream(demo.getIds().split(",")).collect(Collectors.toList());// 添加新的元素(去重操作省略)idsList.add(relId);// 更新关联字段demo.setIds(idsList.stream().collect(Collectors.joining(",")));// 打印当前线程获取到的ids列表log.info("Thread Name:{}, after demo:{}",Thread.currentThread().getName(), demo);updateById(demo);lock.unlock();}
}

结果成功

在这里插入图片描述

3.5 其他方法

如果有其他更好的方法,欢迎讨论!

http://www.lryc.cn/news/505130.html

相关文章:

  • 跌倒数据集,5345张图片, 使用yolo,coco json,voc xml格式进行标注,平均识别率99.5%以上
  • Java转C之CMake
  • 如何自己创建database.js文件来初始化本地sqlite数据库
  • 【汇编语言】内中断(三) —— 中断探险:从do0到特殊响应的奇妙旅程
  • 0006.基于SpringBoot+element付费问答系统
  • SpringBoot feign基于HttpStatus重试
  • 【记录49】vue2 vue-office在线预览 docx、pdf、excel文档
  • 正则表达式中^的用法
  • WPF 关于界面UI菜单权限(或者任意控件的显示权限)的简单管理--只是简单简单简单简单
  • Https身份鉴权(小迪网络安全笔记~
  • AngularJS 输入验证
  • 【网络安全】WIFI WPA/WPA2协议:深入解析与实践
  • 前端使用xlsx-js-style导出Excel,带样式,并处理合并单元格边框显示不全和动态插入表头解决
  • 自动化工具ansible部署和实践
  • 无人机推流直播平台EasyDSS视频技术如何助力冬季森林防火
  • React Fiber
  • 【前端】JavaScript 中的 map() 方法:高级解析与应用
  • 《智能体开发实战(高阶)》四、系统化的日志周报智能体开发计划
  • 什么是Apache日志?为什么Apache日志分析很重要?
  • Mybatis——(2)
  • 景联文科技入选中国信通院发布的“人工智能数据标注产业图谱”
  • 修改浏览器地址栏参数
  • Spring Boot教程之二十五: 使用 Tomcat 部署项目
  • 解决 Git 默认不区分文件名大小写的问题
  • python学opencv|读取图像(十二)BGR图像转HSV图像
  • 信息安全工程师-选择题考点总结
  • 重学SpringBoot3-WebClient配置与使用详解
  • springBoot中的日志级别在哪里配置
  • 统一身份安全管理体系的业务协同能力
  • JAVA课堂笔记23(IO流 (java.io包中))