当前位置: 首页 > news >正文

kafka-保证数据不重复-生产者开启幂等性和事务的作用?

1. 生产者开启幂等性为什么能去重?

1.1 场景

适用于消息在写入到服务器日志后,由于网络故障,生产者没有及时收到服务端的ACK消息,生产者误以为消息没有持久化到服务端,导致生产者重复发送该消息,造成了消息的重复现象,而幂等性就是为了解决该问题。

1.2 去重原理

通过3个值的唯一性去重:

  1. PID:生产者ID
  2. 分区号
  3. seq:单调递增

 2. 生产者开启事务为什么能去重?

2.1 场景

当数据发送到broker时,失败了,导致ack没有应答成功,如果没有开启事务,那么这条数据可能只落在了leader的磁盘上,没有落在flower的磁盘上,此时会进行重试,再把数据发送一遍,那么leader的数据就重复了。

2.2 去重原理

如果开启事务那就会有原子性,数据要么写成功落盘,要么写失败回滚。

当数据发送到broker时,失败了,导致ack应答失败,这条数据可能只落在了leader的磁盘上,没有落在flower的磁盘上,如果开启了事务,那么会进行回滚,将leader的数据回滚,然后会进行重试,再把数据发送一遍,就解决了重复问题。

http://www.lryc.cn/news/112341.html

相关文章:

  • [AI in security]-214 网络安全威胁情报的建设
  • Javaweb学习(2)
  • leetcode410. 分割数组的最大值 动态规划
  • C函数指针与类型定义
  • 最新2024届【海康威视】内推码【GTK3B6】
  • 边写代码边学习之LSTM
  • Elasticsearch8.8.0 SpringBoot实战操作各种案例(索引操作、聚合、复杂查询、嵌套等)
  • 《MySQL高级篇》十五、其他数据库日志
  • 【Linux】【预】配置虚拟机的桥接网卡+nfs
  • 【Android】Retrofit2和RxJava2新手快速上手
  • 1.4 Nacos注册中心
  • AOJ 2200 Mr. Rito Post Office 最短路径+动态规划+谨慎+思维
  • 红米电视 ADB 安装 app 报错 failed to authenticate xxx:5555
  • Linux 下设置开机自启动的方法
  • MySQL常见问题处理(三)
  • maven中常见问题
  • vue2中bus的使用
  • 实证研究在机器学习中的应用
  • IO进程线程day8(2023.8.6)
  • 【5G NR】逻辑信道、传输信道和物理信道的映射关系
  • tmux基础教程
  • 项目实战 — 消息队列(4){消息持久化}
  • AI编程工具Copilot与Codeium的实测对比
  • webpack基础知识六:说说webpack的热更新是如何做到的?原理是什么?
  • Linux从安装到实战 常用命令 Bash常用功能 用户和组管理
  • webpack基础知识三:说说webpack中常见的Loader?解决了什么问题?
  • 深度学习:Pytorch常见损失函数Loss简介
  • 【Android-java】Parcelable 是什么?
  • Spring整合MyBatis小实例(转账功能)
  • List集合的对象传输的两种方式