当前位置: 首页 > news >正文

Kafka(五)生产者向发送消息的执行流程

(1)生产者要往 Kafka 发送消息时,需要创建 ProducerRecoder,代码如下:

ProducerRecord<String,String> record = new ProducerRecoder<>("CostomerCountry","Precision Products","France"); 
try{producer.send(record);
}catch(Exception e){e.printStackTrace();
}

(2)ProducerRecoder 对象会包含目标 topic,分区内容,以及指定的 key value,在发送 ProducerRecoder 时,生产者会先把键和值对象序列化成字节数组,然后在网络上传输。

(3)生产者在将消息发送到某个 Topic ,需要经过拦截器、序列化器和分区器(Partitioner)。

(4)如果消息 ProducerRecord 没有指定 partition 字段,那么就需要依赖分区器,根据 key 这个字段来计算 partition 的值。分区器的作用就是为消息分配分区。

        1,若没有指定分区,且消息的 key 不为空,则使用 murmur 的 Hash 算法(非加密型 Hash 函数,具备高运算性能及低碰撞率)来计算分区分配。

        2,若没有指定分区,且消息的 key 也是空,则用轮询的方式选择一个分区。

(5)分区选择好之后,会将消息添加到一个记录批次中,这个批次的所有消息都会被发送到相同的 Topic 和 partition 上。然后会有一个独立的线程负责把这些记录批次发送到相应的 broker 中。

(6)broker 接收到 Msg 后,会作出一个响应。如果成功写入 Kafka 中,就返回一个 RecordMetaData 对象,它包含Topic和Partition信息,以及记录在分区的offset。

(7)若写入失败,就返回一个错误异常,生产者在收到错误之后尝试重新发送消息,几次之后如果还失败,就返回错误信息。 

http://www.lryc.cn/news/22685.html

相关文章:

  • 华为OD机试模拟题 用 C++ 实现 - 简易压缩算法(2023.Q1)
  • MATLAB R2022b 安装教程
  • PCI子系统
  • Spring源码之IoC容器的Bean创建和依赖注入,DefaultListableBeanFactory容器为例
  • 解决小程序页面scroll-view块自身滑动问题
  • PowerCommand康明斯发电机控制屏维修HMI211
  • ELK + Kafka 测试
  • 迁移系统:换电脑或者硬盘转移磁盘文件的方法!
  • 职场性别报告,男女薪酬仍有差距,男性平均薪酬比女性高29.7%
  • 5-Azidopentanoic acid,79583-98-5,5-Azidopentanoic COOH具有高效稳定,高特异性
  • 滴滴前端高频react面试题汇总
  • 能在软路由docker给部署搭建teamsperk服务器么?并且设置好ddns
  • 应用统计学实验1-蒙特卡罗方法求解定积分
  • 用Pyhon编写一个属于自己的nmap
  • 电信网上用户资管理系统的设计与实现
  • js函数柯里化-面试手写版
  • 【学习笔记】深入理解JVM之类加载机制
  • 驾驭云端之风1——Spring Cloud微服务架构实践指南
  • 【计算机网络基础】
  • grep与nm命令的应用
  • 【linux】软硬链接
  • 骨传导蓝牙耳机排行,盘点几款性能不错的骨传导耳机
  • ARM中的寄存器
  • git操作修改历史版本指定tag标签的代码,并发布新标签
  • SpringMVC——响应处理(1)【包含源码分析】
  • Normalization
  • 27K测试老鸟分享自己6年面试心得,四种公司、四种问题…
  • 中小企业数字化自动化转型的方法
  • 利用GPT-3 Fine-tunes训练专属语言模型
  • kubeadm方式安装k8s高可用集群(版本1.26x)