当前位置: 首页 > news >正文

Kafka3.0.0版本——消费者(消费者组详细消费流程图解及消费者重要参数)

目录

    • 一、消费者组详细消费流程图解
    • 二、消费者的重要参数

一、消费者组详细消费流程图解

  1. 创建一个消费者网络连接客户端,主要用于与kafka集群进行交互,如下图所示:
    在这里插入图片描述
  2. 调用sendFetches发送消费请求,如下图所示:
    (1)、Fetch.min.bytes每批次最小抓取大小,默认1字节
    (2)、fetch.max.wait.ms一批数据最小值未达到的超时时间,默认500ms
    (3)、Fetch.max.bytes每批次最大抓取大小,默认50m
    在这里插入图片描述
  3. 通过onSuccess回调,把数据拉取到queue队列中,如下图所示:
    在这里插入图片描述
  4. 经过反序列化、拦截器、数据处理周,调用FetchedRecords从队列中抓取数据,如下图所示:
    在这里插入图片描述

二、消费者的重要参数

参数名称描述
bootstrap.servers向 Kafka集群建立初始连接用到的 host/port列表。
key.deserializer 和value.deserializer指定接收消息的 key 和 value 的反序列化类型。一定要写全类名。
group.id标记消费者所属的消费者组。
enable.auto.commit 默认值为 true,消费者会自动周期性地向服务器提交偏移量。
auto.commit.interval.ms如果设置了 enable.auto.commit 的值为 true, 则该值定义了消费者偏移量向 Kafka提交的频率,默认 5s。
auto.offset.reset当 Kafka 中没有初始偏移量或当前偏移量在服务器中不存在(如,数据被删除了),该如何处理? earliest:自动重置偏移量到最早的偏移量。 latest:默认,自动重置偏移量为最新的偏移量。 none:如果消费组原来的(previous)偏移量不存在,则向消费者抛异常。 anything:向消费者抛异常。
offsets.topic.num.partitions__consumer_offsets 的分区数,默认是 50 个分区。
heartbeat.interval.msKafka 消费者和 coordinator 之间的心跳时间,默认 3s。该条目的值必须小于 session.timeout.ms ,也不应该高于session.timeout.ms 的 1/3。
session.timeout.msKafka 消费者和 coordinator 之间连接超时时间,默认 45s。超过该值,该消费者被移除,消费者组执行再平衡。
max.poll.interval.ms消费者处理消息的最大时长,默认是 5 分钟。超过该值,该消费者被移除,消费者组执行再平衡。
fetch.min.bytes默认 1 个字节。消费者获取服务器端一批消息最小的字节数。
fetch.max.wait.ms默认 500ms。如果没有从服务器端获取到一批数据的最小字节数。该时间到,仍然会返回数据
fetch.max.bytes默认 Default: 52428800(50 m)。消费者获取服务器端一批消息最大的字节数。如果服务器端一批次的数据大于该值(50m)仍然可以拉取回来这批数据,因此,这不是一个绝对最大值。一批次的大小受 message.max.bytes (brokerconfig)or max.message.bytes (topic config)影响。
max.poll.records一次 poll拉取数据返回消息的最大条数,默认是 500 条。
http://www.lryc.cn/news/162253.html

相关文章:

  • 算法通关村-----位运算在海量元素中查找重复元素的妙用
  • RabbitMQ: Publish/Subscribe结构
  • 单片机-蜂鸣器
  • 华为云云耀云服务器L实例评测 | 分分钟完成打地鼠小游戏部署
  • Android——数据存储(二)(二十二)
  • appium环境搭建
  • 十五、Webpack打包图片-js-Vue、Label命令、resolve模块解析
  • ARM指令集--数据处理指令
  • Excel embed into a webpage
  • uniapp点击事件在小程序中无法传参
  • ssprompt:一个LLM Prompt分发管理工具
  • 修复 ChatGPT 发生错误的问题
  • 《热题100》字符串、双指针、贪心算法篇
  • 大数据组件Sqoop-安装与验证
  • 运算符重载(个人学习笔记黑马学习)
  • 2023.9.6 Redis 的基本介绍
  • 2023-09-08力扣每日一题
  • adb-linux 调试桥
  • 入门人工智能 —— 使用 Python 进行文件读写,并完成日志记录功能(4)
  • 使用Caffeine实现帖子的缓存来优化网站的运行速度
  • Webpack5 搭建Vue项目(进阶版)
  • 论文阅读:Distortion-Free Wide-Angle Portraits on Camera Phones
  • 力扣每日一题---207. 课程表
  • 在Kubernetes环境中有关Nginx Ingress与API Gateway的连接问题
  • c语言练习44:深入理解strstr
  • 渗透测试漏洞原理之---【业务安全】
  • CentOS查看CPU、内存、网络流量和磁盘 I/O
  • 无人机航线规划
  • react中受控组件与非受控组件
  • 【网络教程】如何解决Docker删除镜像和容器后磁盘空间未释放的问题