当前位置: 首页 > news >正文

02、Kafka ------ 配置 Kafka 集群

目录

  • 配置 Kafka 集群
    • 配置步骤
    • 启动各Kafka节点

配置 Kafka 集群

启动命令:

1、启动 zookeeper 服务器端
小黑窗输入命令: zkServer

2、启动 zookeeper 的命令行客户端工具
(这个只是用来看连接的节点信息,不启动也没关系)

小黑窗输入命令:zkCli -server 127.0.0.1:2181

3、启动 Kafka 服务器:

第1个kafka服务器,也就是第1个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server.properties

第2个kafka服务器,也就是第2个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

第3个kafka服务器,也就是第3个节点:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

配置步骤

Kafka 在集群模式下才能体现它的一些优势。因为是演示,所以不可能弄很多台服务器来搭建 Kafka 集群环境,所以只能在一台电脑里面,运行多个kafka进程,就是通过监听不同的端口来实现。

1、如果要配置Kafka集群,也就是启动多个Kafka节点。以再启动两个Kafka节点为例, 那应将config子目录下的server.properties再复制两份,重命名为server-1.properties和server-2.properties

并将它们分别修改为:
【config/server-1.properties】:
指定该节点的唯一标识
broker.id=1
指定该节点监听端口
listeners=PLAINTEXT://:9093 和 9094
advertised.listeners=PLAINTEXT://localhost:9093 和 9094

复制两份,然后修改配置内容:
在这里插入图片描述

在这里插入图片描述

2、指定该节点的数据存储目录
log.dirs=E:/install/kafka_2.13-3.6.1/kafka-data-1

拷贝的这两份,修改存储数据的文件夹的名字
在这里插入图片描述

就是拷贝的配置文件改了这几处地方:
【config/server-2.properties】:
broker.id=2
listeners=PLAINTEXT://:9094
advertised.listeners=PLAINTEXT://localhost:9094
log.dir=log.dirs=E:/install/kafka_2.13-3.6.1/kafka-data-2

配置文件修改到的地方:
一个broker就是一个kafka节点,也就是一个kafka。
在这里插入图片描述

启动各Kafka节点

此时加上拷贝的两个,就有三个kafka节点了。来启动它们:

依次运行如下命令,先启动第2个节点,监听9093端口:

kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-1.properties

启动第3个节点,监听9094端口:

 kafka-server-start E:/install/kafka_2.13-3.6.1/config/server-2.properties

由于本例是在同一台主机上运行多个Kafka节点,因此将3个节点的监听端口分别设为9092(默认端口)、9093(第2个节点)和9094(第3个节点)。

如果在不同主机上分别启动不同的Kafka节点,则可以让它们都使用9092的默认端口。

如果Kafka节点与ZooKeeper不在同一台主机上,则需要修改Kafka config目录下的server.properties文件中的如下一行:

# 设置ZooKeeper的主机和端口
zookeeper.connect=localhost:2181

因为现在都是在同一台主机上面操作,就不用弄其他的了。

可以看到,kafka集群,三个节点都已经启动成功了。
在这里插入图片描述

启动 zookeeper 的命令行客户端工具,小黑窗输入命令:zkCli -server 127.0.0.1:2181 和 ls /
可以看到很多东西都注册到 zookeeper 里面了,因为zookeeper就是用来管理这些分布式节点数据的。
在这里插入图片描述

http://www.lryc.cn/news/277085.html

相关文章:

  • 2024年全球网络安全预测报告
  • Qt - QML与C++数据交互详解
  • Kettle Local引擎使用记录(一)(基于Kettle web版数据集成开源工具data-integration源码)
  • Java--业务场景:在Spring项目启动时加载Java枚举类到Redis中(补充)
  • WPF 基础入门(资源字典)
  • 文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《考虑电氢耦合和碳交易的电氢能源系统置信间隙鲁棒规划》
  • ubuntu设定时间与外部ntp同步
  • DataFrame详解
  • 控制障碍函数(Control Barrier Function,CBF) 三、代码
  • 哈希表-散列表数据结构
  • C# 强制类型转换和as区别和不同使用场景
  • 什么是 DDoS 攻击
  • c++隐式类型转换与explicit
  • BERT Intro
  • “To-Do Master“ GPTs:重塑任务管理的趣味与效率
  • npm安装vue,添加淘宝镜像
  • LeetCode 2707. 字符串中的额外字符
  • Js进阶31-DOM 操作专题
  • Hive之set参数大全-4
  • 竞赛保研 基于深度学习的人脸识别系统
  • 9.建造者模式
  • 简单的MOV转MP4方法
  • YOLOv8改进 | Neck篇 | 利用ASF-YOLO改进特征融合层(适用于分割和目标检测)
  • 基于模块自定义扩展字段的后端逻辑实现(一)
  • 力扣:18.四数之和
  • .netcore 6 ioc注入的三种方式
  • Python轴承故障诊断 (十)基于VMD+CNN-Transfromer的故障分类
  • 【复习】人工智能 第7章 专家系统与机器学习
  • 使用 Apache PDFBox 操作PDF文件
  • 【Python 常用脚本及命令系列 3.2 -- 检测到弹框跳出然后关掉它--脚本实现】