当前位置: 首页 > news >正文

MySQL 中删除重复数据 SQL 写法

要在 MySQL 中删除重复的数据并只保留一条,可以使用下面的方法(要用的时候直接复制小改下条件和表名称即即可)

方法一:使用 left join + 子查询删除重复数据(推荐)

温馨提示:本人在 500w 数据下执行此 SQL 耗费 15s-30s 左右

使用 left join (推荐方法删除重复数据,添加唯一组合索引,可以使用,数据量大的也可以)

// 先把历史数据删除,才能够添加唯一的组合索引
DELETE u1
FROM uf_cs_record_batch_detail u1
LEFT JOIN (SELECT MIN(id) AS min_idFROM uf_cs_record_batch_detailGROUP BY cs_contact_name, cs_safe_remark
) u2
ON u1.id = u2.min_id
WHERE u2.min_id IS NULL;

另外在附上添加唯一组合索引的 SQL 写法(很实用):

// 添加组合的唯一索引
ALTER TABLE uf_cs_record_batch_detail ADD UNIQUE KEY idx_uni_contact_safe_stat (cs_contact_name, cs_safe_remark);

方法二:创建临时表(需分多步执行,逻辑清晰,但会改变ID值)

这种方法假设你有一个表 your_table,并且你要基于某些列来判断哪些数据是重复的。
例如,如果你想删除基于 column1column2 的重复记录,只保留一条记录,你可以按照以下步骤操作:

  • 使用 CREATE TABLE 语句创建一个临时表,用于存储唯一的记录。
  • 使用 INSERT INTO ... SELECT 语句将唯一的记录插入到临时表中。
  • 删除原始表中的所有记录。
  • 使用 INSERT INTO ... SELECT 语句将临时表中的记录插入回原始表。
  • 删除临时表。

以下是一个完整的 SQL 例子:

-- 创建临时表 SQL 参考
CREATETABLE temp_table AS
SELECT*FROM your_table-- 将不重复的数据临时存在这个 temp_table 临时表中
INSERTINTO temp_table
SELECT*FROM your_table t1
WHERE t1.id = (SELECTMIN(t2.id)FROM your_table t2WHERE t1.column1 = t2.column1AND t1.column2 = t2.column2
);-- 然后将源表中的数据删除
DELETEFROM your_table whereWHERE 字段1=;-- 再将临时表中不重复数据重新写回到源表中
INSERTINTO your_table
SELECT*FROM temp_table;-- 最后删除临时表
DROPTABLE temp_table;

这样,你就成功地删除了原始表中的重复记录,只保留了一条唯一记录。

注意:但是这种方法会改变原来的数据 ID ,所以这种方法看场合使用

方法三:使用 JOIN 自连查询(需要注意性能问题)

为了避免改变原来的数据 ID,我们可以使用一个不同的方法,通过使用自连接来标记重复的数据并删除多余的记录。这种方法在保留原始 ID 的情况下删除重复记录。

假设你的表结构如下:

  • 表名:your_table
  • 列名:id (主键), column1, column2, 以及其他列。

你可以使用以下 SQL 来删除重复记录,只保留一条(通常是保留 ID 最小的那一条):

-- Step 1: 标记要删除的重复记录
DELETE t1
FROM your_table t1
INNER JOIN your_table t2 
WHERE t1.id > t2.idAND t1.column1 = t2.column1AND t1.column2 = t2.column2;-- Step 2: 确认删除成功,查看剩余数据
SELECT * FROM your_table;

解释:

-标记要删除的重复记录:我们使用自连接 INNER JOIN 来找到重复的记录,并且使用 WHERE t1.id > t2.id 来确保只删除 id 较大的记录,从而保 留 id 最小的记录。

  • 确认删除成功:通过 SELECT 语句查看剩余的数据,确保删除操作正确。这个方法的优点是:不会改变原始数据的 ID。保留每组重复记录中 ID 最小的一条记录。操作简单且高效。

小总结

  • 使用 left join 删除重复数据(推荐使用),适合大数据量,性能 OK
  • 创建临时表 适合需要重建数据表的场景,适合数据量中等的情况,不过比较繁琐
  • 自连查询 能保留最小 ID,适合不想改变 ID 的情况下删除重复数据。
http://www.lryc.cn/news/519485.html

相关文章:

  • docker minio镜像arm64架构
  • VUE3 监听器(watch)
  • CAPL如何设置TCP/IP传输层动态端口范围
  • 随记:有关Springboot项目中的时间格式实现的几种方式
  • IntelliJ IDEA 优化设置
  • jsp企业财务管理系统设计与实现
  • EscherNet运行笔记
  • Java中的反射机制及其应用场景
  • 信息科技伦理与道德3:智能决策
  • 青少年编程与数学 02-006 前端开发框架VUE 16课题、组件基础
  • 25/1/11 算法笔记 Yolov8物体识别
  • 水水水水水水
  • XS5037C一款应用于专业安防摄像机的图像信号处理芯片,支持MIPI和 DVP 接口,内置高性能ISP处理器,支持3D降噪和数字宽动态
  • 机器学习无处不在,AI顺势而为,创新未来
  • pandas处理json的相关操作
  • linux内存泄露定位过程(kmemleak和slab debug)
  • 2025年安卓面试复习总结
  • JS scrollIntoView 技巧揭秘:解锁网页流畅交互
  • 【Ubuntu 24.04】常见问题解决
  • 前端依赖安装指南
  • 灌区闸门自动化控制系统-精准渠道量测水-灌区现代化建设
  • ELK实战(最详细)
  • 《大型语言模型与强化学习的融合:探索问题的新解决方案与开源验证需求》
  • springboot 默认的 mysql 驱动版本
  • 10分钟快速了解OceanGPT(沧渊)
  • 蓝桥杯嵌入式速通(1)
  • Redis优化建议详解
  • ceph 存储 full 阈值调整
  • 后端技术选型 sa-token校验学习 下 结合项目学习 后端鉴权
  • Vue.js组件开发-实现组件切换效果的两种方法 条件渲染、动态组件