当前位置: 首页 > news >正文

Kafka【命令行操作】

Kafka 命令行操作

Kafka 主要包括三大部分:生产者、主题分区节点、消费者。

1、Topic 命令行操作

也就是我们 kafka 下的脚本 kafka-topics.sh 的相关操作。

常用命令行操作

参数

描述

--bootstrap-server <String: server toconnect to>

连接的Kafka Broker主机名称和端口号。

--topic <String: topic>

操作的topic名称。

--create

创建主题。

--delete

删除主题。

--alter

修改主题。

--list

查看所有主题。

--describe

查看主题详细描述。

--partitions <Integer: # of partitions>

设置分区数。

--replication-factor<Integer: replication factor>

设置分区副本。

--config <String: name=value>

更新系统默认的配置。

查看当前一共有多少个 topic:

        我们测试环境下一般只通过一台节点连接,但是生产环境下可以在 hadoop102:9092 后面加个逗号,再跟一个  hadoop103:9092 。

kafka-topics.sh --bootstrap-server hadoop102:9092 --list

创建 topic :

创建一个 点赞 的主题,必须指定分区和副本才能创建成功,这里我们指定分区数和副本数分别为 1 和 3 。

kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --create --partitions 1 --replication-factor 3

查看主题详细信息:

kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --describe

运行结果:

Topic: like	TopicId: 2RDnQulpR_K1FSmLVIKMlw	PartitionCount: 1	ReplicationFactor: 3	Configs: Topic: like	Partition: 0	Leader: 2	Replicas: 2,1,0	Isr: 2,1,0

可以看到副本分别位于 2,1,0, 也就是我们之前安装时指定的 broker.id 这个参数。leader:2 表示 leader 节点的 broker.id = 2 ,也就是我们的 hadoop104 节点。

修改 like 主题的分区数:

修改分区数为 3(原本是 1)。

kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --alter  --partitions 3

修改结果:

Topic: like	TopicId: 2RDnQulpR_K1FSmLVIKMlw	PartitionCount: 3	ReplicationFactor: 3	Configs: Topic: like	Partition: 0	Leader: 2	Replicas: 2,1,0	Isr: 2,1,0Topic: like	Partition: 1	Leader: 0	Replicas: 0,1,2	Isr: 0,1,2Topic: like	Partition: 2	Leader: 1	Replicas: 1,2,0	Isr: 1,2,0
注意: 

         分区数只能增加不能减少!副本也不能通过命令行减少。

删除 topic like 

kafka-topics.sh --bootstrap-server hadoop102:9092 --topic like --delete

2、生产者命令行操作

也就是我们 kafka 下的脚本 kafka-console-producer.sh 的相关操作。

常用命令式行

参数

描述

--bootstrap-server <String: server toconnect to>

连接的Kafka Broker主机名称和端口号。

--topic <String: topic>

操作的topic名称。

生产消息

kafka-console-producer.sh --bootstrap-server hadoop102:9092 --topic like
> 消息1
> 消息2
> ...

3、消费者命令行操作

常用命令行

参数

描述

--bootstrap-server <String: server toconnect to>

连接的Kafka Broker主机名称和端口号。

--topic <String: topic>

操作的topic名称。

--from-beginning

从头开始消费。

--group <String: consumer group id>

指定消费者组名称。

消费消息

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --topic like

把主题中所有数据读取出来(所有历史数据)

kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first

注意:慎用,可能会把已经处理过的消息又处理一遍。

http://www.lryc.cn/news/169050.html

相关文章:

  • springboot配置注入增强(二)属性注入的原理
  • Android 使用Camera1实现相机预览、拍照、录像
  • 2024字节跳动校招面试真题汇总及其解答(四)
  • 网页的快捷方式打开自动全屏--Chrome、Firefox 浏览器相关设置
  • LabVIEW使用ModbusTCP协议构建分布式测量系统
  • unity学习第1天
  • Spring Boot实现对文件进行压缩下载
  • Mac专用投屏工具AirServer 7 .27 for Mac中文免费激活版
  • LabVIEW使用巴特沃兹低通滤波器过滤噪声
  • 【Realtek sdk-3.4.14b】RTL8197FH-VG和RTL8812F自适应认证失败问题分析及修改
  • SpringBoot 的版本、打包、Maven
  • 不同类型程序的句柄研究
  • 【Godot】解决游戏中的孤立/孤儿节点及分析器性能问题的分析处理
  • 国家网络安全宣传周知识竞赛活动小程序界面分享
  • mysql的判断语句
  • ArcGIS Maps SDK for JavaScript系列之四:添加自定义底图
  • Learn Prompt-角色扮演
  • 《动手学深度学习 Pytorch版》 6.1 从全连接层到卷积
  • 六、数学建模之插值与拟合
  • 【项目经验】:elementui表格中数字汉字排序问题及字符串方法localeCompare()
  • Spring Boot的运行原理
  • xen-gic初始化流程
  • Docker从认识到实践再到底层原理(六-1)|Docker容器基本介绍+命令详解
  • 【Flink】FlinkCDC自定义反序列化器
  • linux基础(2)
  • docker安装zookeeper(单机版)
  • 国际版阿里云/腾讯云免开户:云存储服务:云存储服务能够让你随时随地拜访和同享文件
  • 【Java】应用层协议HTTP和HTTPS
  • SpringBoot整合Flowable
  • 华为云香港S3云服务器性能测评_99元一年租用价格