当前位置：首页 > news >正文

记一次由于代码原因导致Mysql连接被打满和唯一索引重复问题

news 2025/7/19 2:35:32

先说一下事情产生的背景：原先的代码逻辑是消费MQ，然后请求其他服务的接口，对接口的返回值result做落库操作，现在要新加个逻辑，做完落库操作后还要再将result封装落到新表中；即消费一次MQ(MQ消息的频率非常高)，两个落库操作(一个是新表)；但上线时发现mysql连接被打满了，然后通过自己公司的监控系统去排查，原先的落库操作A的QPS只有800左右，但新加的落库操作B却达到了4000+的QPS，直接翻了5倍，当时就懵了，看代码也没问题，代码伪逻辑如下：

1.获取MQ数据
2.用MQ数据去请求其他服务接口，获取返回值
3.对返回值操作，落到原先的表
4.对返回值封装落到新表中，但问题就出现在这里了，因为落新表时不只是直接insert4.1: 先根据封装后的值查询一次代码,如果数据库已有数据就update4.2: 如果数据库没有数据,就insertif(queryByTeaId(查询字段teacherId) !=null){updateByTeaId(封装后的值和更新条件teacherId)}else{insert(封装后的值)	}

结果由于新表对于查询字段没有建立索引，且虽然是新表，但另一个离线任务一直在往里写着数据，已有的数据量已经非常大了
，导致报错：com.alibaba.druid.pool.GetConnectionTimeoutException，后来对表中字段teacherId加了唯一索引后，完美解决问题。

但后续又延伸出另一个问题：Mysql表中teacherId是设置的唯一索引，但由于是一直消费MQ，MQ消息中是studentId，会反查teacherId，所以多个消息可能对应的是同一个teacherId，但代码都懂得，多线程执行的，所以插入时，偶然在代码中报了唯一键重复的错误，由于文章时后面写的，具体报错没保存也懒的百度了，虽然是偶发事件，但还是得解决，本来想的是在代码中把查询、插入、更新的代码写带一个方法中，给这个方法加上@Transactional事务注解，但后来一想，多线程情况下，这也解决不了问题，但此业务又不是很重要，没必要用到分布式锁，所以后面从sql入手，使用ON DUPLICATE KEY UPDATE算是解决了多线程插入导致唯一键冲突的问题，如下：

-- teacher_id 设置的是唯一索引
insert into tableName name,age,sex,teacher_id values('zhangsan',18,1,1234) ON DUPLICATE KEY UPDATE name = 'lisi',
age = 19,sex = 0 ;