当前位置: 首页 > news >正文

Kafka生产者ACK参数与同步复制

目录

生产者的ACK参数

ack等于0

ack等于1(默认)

ack等于-1或all

Kafka的同步复制

使用误区


生产者的ACK参数

Kafka的ack机制可以保证生产者发送的消息被broker接收成功。

Kafka producer有三种ack机制 ,分别是 0,1,-1。这个配置可以在初始化producer时在config中进行配置。默认值是1。

ack等于0

producer不等待broker同步完成的确认,只要发送一次消息后就不再发送了,不管是否发送成功。这种方式延迟最低,但是持久性也最差,当服务器发生故障时,就很可能发生数据丢失。

例如leader已经宕机了,但producer还会继续发送消息,broker接收不到数据就会数据丢失。

ack等于1(默认)

producer只要收到一个分区副本成功写入的通知就认为推送消息成功了,这一个副本就是Leader。

当集群中Partition的Leader发生宕机时,此时由于follwer可能尚未同步到消息,数据可能就丢失了。此选项提供了较好的持久性较低的延迟性,实现了吞吐量和消息可靠性的平衡。

ack等于-1或all

这个值意味着开启同步复制机制后,你ISR列表里面的所有副本必须都要同步成功才会反馈给生产者这条消息发送成功了。

Kafka的同步复制

之前Kafka的Replication策略和ISR同步机制 已经写过关于同步复制的实现机制,本文再次提及是因为在实际使用场景下,kafka的生产者ack参数其实与同步复制的相关配置是相互配合才能起到真正的作用。

min.insync.replicas

min.insync.replicas这个参数指定了一个写操作被认为是成功时最小的ISR副本确认数。如不能满足这个条件producer将会触发异常(either NotEnoughReplicas or NotEnoughReplicasAfterAppend)。

当开启同步复制且生产者ACK参数设置为-1或all时,在消息发送时只要写入副本数满足了min.insync.replicas的数值即可返回给生产者消息发送成功的通知。

个人理解这个参数其实是用来平衡kafka集群的数据安全性和吞吐量的,以及可用性。min.insync.replicas配置控制的是同步复制ISR副本的下限,要使用同步复制机制需要合理配置min.insync.replicas的值,在此基础上kafka服务端可以实现同步复制并发挥其作用,但是生产者最终到底能不能把一条消息发送成功取决于生产者的acks参数配置。

场景举例:

topic中ISR副本数为4,min.insync.replicas设置为2,生产者ack设置为-1,当生产者发送消息时满足leader节点写入成功且另外3个ISR其中一个写入完成后即可完成消息发送成功的响应,无需等待全量ISR都写入完成。

使用误区

min.insync.replicas配置的默认值是1,这种情况并没有同步复制机制的作用。因为leader本身也是一个副本,所以1这个值表示leader写入成功后即可返回给生产者发送成功的标识。

此时即使生产者ack=all ,结果也是等同于ack=1的情况,即producer只要收到一个分区副本成功写入的通知就认为推送消息成功了,这一个副本就是Leader。

http://www.lryc.cn/news/527476.html

相关文章:

  • IPhone14 Pro 设备详情
  • 【Linux】磁盘
  • Shell编程(for循环+并发问题+while循环+流程控制语句+函数传参+函数变量+函数返回值+反向破解MD5)
  • 强化学习数学原理(三)——值迭代
  • Day27-【13003】短文,什么是栈?栈为何用在递归调用中?顺序栈和链式栈是什么?
  • [JMCTF 2021]UploadHub
  • C++学习——认识和与C的区别
  • 为AI聊天工具添加一个知识系统 之63 详细设计 之4:AI操作系统 之2 智能合约
  • 基于SpringBoot的网上摄影工作室开发与实现 | 含论文、任务书、选题表
  • Flutter子页面向父组件传递数据方法
  • 回顾Maven
  • 除了layui.js还有什么比较好的纯JS组件WEB UI?在谷歌浏览上显示
  • 力扣111二叉树的最小深度(DFS)
  • c++学习第十三天
  • zookeeper-3.8.3-基于ACL的访问控制
  • Java定时任务实现方案(四)——Spring Task
  • WGCLOUD运维工具从入门到精通 - 如何设置主题背景
  • Babylon.js 中的 setHardwareScalingLevel和getHardwareScalingLevel:作用与配合修改内容
  • Qwen2-VL:在任何分辨率下增强视觉语言模型对世界的感知 (大型视觉模型 核心技术 分享)
  • Docker——入门介绍
  • 02数组+字符串+滑动窗口+前缀和与差分+双指针(D2_字符串(D2_刷题练习))
  • 【redis进阶】集群 (Cluster)
  • Python案例--100到200的素数
  • C语言,无法正常释放char*的空间
  • 重回C语言之老兵重装上阵(十五)C语言错误处理
  • 基于微信的课堂助手小程序设计与实现(LW+源码+讲解)
  • Effective C++ 规则50:了解 new 和 delete 的合理替换时机
  • Alfresco Content Services dockerCompose自动化部署详尽操作
  • 学习第七十六行
  • YOLOv11改进,YOLOv11检测头融合DynamicHead,并添加小目标检测层(四头检测),适合目标检测、分割等任务