当前位置: 首页 > news >正文

深入Kafka核心设计与实践原理读书笔记第二章

1 生产者

生产逻辑

  1. 配置生产者客户端参数及创建相应的生产者实例。
  2. 构建待发送的消息。
  3. 发送消息
  4. 关闭实列

参数说明

  1. bootstrap.servers :用来指定生产者客户端链接Kafka集群搜需要的broker地址清单,具体格式 host1:port1,host2:port2,可以设置一个或多个地址中间,号分割,参数默认 空串。这里要注意并不需要配置所有的broker地址,应为生产者会在broker中找到其他的broker地址,但是建议配置两个以上,当其中一个broker宕机时还可以通过另外一个工作。
  2. key.serializer和value.serializer:broker端接受的消息必须以字节数组的形式存在。
  3. client.id : 默认 “” 用来设置KafkaProducer对应的客户端id
  4. max.block.ms:默认值 60000 用来控制KafkaProducer 中send()方法和partitionsFor()方法的阻塞时间
  5. partitioner.class:用来指定分区器
  6. enable.idempotence:默认值 false 是否开启幂等性
  7. interceptor.classes 用来设置生产者拦截器
  8. max.in.flight.requests.per.connection:5 限制每个连接最多缓存的请求数
  9. metadata.max.age.ms: 300000 5分钟 如果在这个时间内元数据没有更新的话就强制更新。
  10. transactional.id:null 设置事务id 必须唯一
  11. batch.size 16384(16KB): 生产者客户端中用于缓存消息的缓冲区大小。

序列化器(Serializer)

生产者发送消息到kafka是需要将对象序列化城流才能访问到kafka,消费者需要把流反序列化 才能进行 消费。

分区器

消息在通过send()方法发送到broker的过程中,有可能需要经过拦截器、序列化器和分区器(partitioner)的一系列作用之后才能被真正的发往broker。拦截器一般不是必须的,而序列化器时必须的必须的。消息经过序列化之后就需要确定它发送的分区,如果消息ProducerRecord中指定了partition字段,那么就不需要分区器的作用,因为partition代表的就是所要发往的分区。
分区器时通过kay来计算partition的值,分区器的作用就是为消息分配分区。
kafka的默认分区器是 org.apache.kafka.clients.producer.internals.DefaultPartitioner

生产者拦截器(Interceptor)

生产者拦截器主要用来在消息发送前做一些准备工作,如按照规则过滤不符合条件的消息,修改消息等,也可以用来做一些定制化的需求,kafkaProducer在将消息序列化和计算分区之前会调用拦截器的onSend()方法来对消息进行相应的定制化

原理分析

在这里插入图片描述

  1. 主线程中由KafkaPartition创建消息
  2. 通过拦截器
  3. 通过序列化器
  4. 通过分区器
  5. 到达消息累加器(RecordAccumulator)主要是用来收集消息方便 Sender可以批量发送
http://www.lryc.cn/news/552.html

相关文章:

  • 知乎kol投放怎么做?知乎kol资源从哪里找?
  • python设计模式-享元设计模式,抽象工厂设计模式,面向对象设计模式
  • 10条终身受益的Salesforce职业发展建议!
  • 电子科技大学人工智能期末复习笔记(四):概率与贝叶斯网络
  • 码上掘金实现电子木鱼
  • 深度学习_L2正则化
  • 第一章 认识Python
  • 复习0206
  • 小红书如何查看笔记
  • linux001之linux系统部署安装
  • 服务异步通信 RabbitMQ-高级篇
  • 【PR】零基础快速入门教程
  • Matlab 点云迭代加权最小二乘法拟合平面(抑制噪声)
  • 2023 软件测试行业内卷动荡,红利期过去后,何去何从?
  • 【王道数据结构】第六章(下) | 图的应用
  • Leetcode:518. 零钱兑换 II(C++)
  • Java中类是什么
  • C进阶:预处理
  • 侯捷C++系统工程师
  • ReentrantReadWriteLock、StampedLock
  • Mysql中的事务、锁、日志详解
  • k8s笔记24--安装metrics-server及错误处理
  • 【电商】订单系统--售后的简易流程与系统关系
  • 低代码开发平台|生产管理-成本核算搭建指南
  • Xshell 安装及使用方法
  • 【Axure教程】转盘抽奖原型模板
  • 量子比特大突破!原子薄材料成为“救世主”
  • Swagger3 API接口文档规范课程(内含教学视频+源代码)
  • 数据库的基本操作
  • 分享5个超好用的Vue.js库