当前位置: 首页 > news >正文

基于docker搭建Kafka集群,使用KRaft方式搭建,摒弃Zookeeper

KAFKA基于docker使用KRaft进行集群搭建

环境:已成功搭建kafka服务 可点击链接跳转至安装kafka-3.8.0版本 并启用SASL认证 教程

使用基于Zookeeper方式搭建集群教程

kafka-3.8.0版本 并启用SASL认证 教程

搭建kafka-ui可视化工具

192.168.2.91 192.168.2.92 192.168.2.93

一、创建kafka集群节点192.168.2.91

(1)进入kafka/config/
(2)修改server.properties

KRaft模式集群节点

node.id=91

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 第三方服务器访问kafka以及Kraft地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.91:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.91:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
下图为代码中的kafka.properties
在这里插入图片描述

二、创建kafka集群节点192.168.2.92

(1)进入kafka/config/
(2)修改server.properties

KRaft模式集群节点

node.id=92

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

#KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.92:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.92:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
在这里插入图片描述

三、创建kafka集群节点192.168.2.93

(1)进入kafka_2.13-3.8.0_1/config/
(2)修改server.properties

KRaft模式集群节点

node.id=93

KRaft模式集群是否开启分区选举

auto.leader.rebalance.enable=true

KRaft模式集群 认证授权列表

listener.security.protocol.map=CONTROLLER:PLAINTEXT,SASL_PLAINTEXT:SASL_PLAINTEXT

KRaft模式集群 监听所有连接kafka及Kraft请求

listeners=SASL_PLAINTEXT://0.0.0.0:19092,CONTROLLER://0.0.0.0:19093

KRaft模式集群 监听kafka及Kraft请求 第三方服务器访问kafka地址

advertised.listeners=SASL_PLAINTEXT://192.168.2.93:19092,SASL_PLAINTEXT://172.17.0.1:19092,CONTROLLER://192.168.2.93:19093,CONTROLLER://172.17.0.1:19093

集群中当前节点角色 即可作为broker 也可作为控制器controller

process.roles=broker,controller

集群中 互相发现的ip列表

controller.quorum.voters=91@192.168.2.91:19093,92@192.168.2.92:19093,93@192.168.2.93:19093
controller.listener.names=CONTROLLER
下图为代码中的kafka.properties
在这里插入图片描述

四、配置192.168.2.91节点clientID 其中GuihyzOEQ3ulmBRdr6DVDA是我自己生成的集群ID 可通过UUID的方式自己生成

使用命令进入当前服务器的kafka容器中
(1)docker exec -it 容器ID bash
(2)cd 容器kafka/bin
(3)./kafka-storage.sh format -t GuihyzOEQ3ulmBRdr6DVDA -c …/config/server.properties
(4)重启当前kafka 容器

五、配置192.168.2.92。192.168.2.93节点clientID

内容如 四;

六、验证是否成功

方式一 直接使用命令

进入容器kafka/bin,启动生产者 连接19092端口,发送消息
在这里插入图片描述

进入其他节点的容器kafka/bin,启动消费者 接收19092端口消息,可以看到其他节点发送的消息 该消费者均可接收到
方式二 使用kafka-ui

附录:错误解决

如果遇到这个错误则进入 配置文件中配置 log.dirs 目录进行chmod -R 777 log.dirs设置的目录

http://www.lryc.cn/news/532290.html

相关文章:

  • Centos7 安装 RabbitMQ与Erlang
  • mybatis-plus的分页查询简单使用
  • 剑指 Offer II 014. 字符串中的变位词
  • 富唯智能复合机器人拓展工业新维度
  • 【大数据技术】搭建完全分布式高可用大数据集群(Scala+Spark)
  • solidity高阶 -- 调用接口合约
  • 若依框架使用(低级)
  • 找不到 MSVCP120.dll
  • AI软件栈:LLVM分析(三)
  • openwebui入门
  • Spark--如何理解RDD
  • CTFSHOW-WEB入门-PHP特性89-100
  • [250204] Mistral Small 3:小巧、快速、强大 | asdf 0.16.0 发布:Golang 重写带来性能飞跃
  • PySpark学习笔记5-SparkSQL
  • windows版的docker如何使用宿主机的GPU
  • Python爬虫:1药城店铺爬虫(完整代码)
  • 代码随想录算法训练营打卡第55天:并查集相关问题;
  • K8S学习笔记-------1.安装部署K8S集群环境
  • 云原生周刊:K8s引领潮流
  • C_位运算符及其在单片机寄存器的操作
  • 【算法篇】贪心算法
  • Selenium 浏览器操作与使用技巧——详细解析(Java版)
  • ioDraw桌面版 v3.4.0发布!AI文生图,AI图生图,手绘风格一键转换!
  • 深入理解Node.js_架构与最佳实践
  • 安装和卸载RabbitMQ
  • 第27节课:安全审计与防御—构建坚固的网络安全防线
  • 【蓝桥杯】日志统计
  • 23.Word:小王-制作公司战略规划文档❗【5】
  • 基于单片机的智能安全插座(论文+源码)
  • 2025年人工智能技术:Prompt与Agent的发展趋势与机遇