当前位置： 首页 > news >正文

kafka命令行操作

news 2025/7/12 19:06:38

新老版本kafka命令行操作

啓動Kafka：
kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties

Kafka命令行操作

  1. 查看当前集群中已存在的主题topic
旧的方式
kafka-topics.sh --zookeeper bdphdp01:2181 --list
kafka-topics.sh --zookeeper bdphdp01:2181/kafka-bdpapp01 --list
新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --list
kafka-topics.sh --bootstrap-server 11.51.197.0:6667,11.51.197.1:6667,11.51.197.2:6667 --list
  1. 创建topic
旧的方式
kafka-topics.sh --zookeeper bdpapp01:2181/kafka-bdpapp01-01 --create --replication-factor 1 --partitions 1 --topic test.1新的方式
kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
  1. 删除主题
kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t1
  1. 发送消息
生产者启动:kafka-console-producer.sh --broker-list bdpapp01:9092 --topic test.1消费者启动:kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic test.1 --from-beginning
  1. 查看主题详细信息
kafka-topics.sh --zookeeper bdphdp01:2181 --describe --topic test.1
kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic test.1
  1. 查看consumer group操作
   新版本group列表，使用--list参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --list test.1kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --list test.1查看特定consumer group 详情，使用--group与--describe参数kafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --group console-consumer-57168 --describekafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group hive1 --describe 删除consumer groupskafka-consumer-groups.sh --bootstrap-server bdphdp01:6667 --delete --group g1 --group g2老版本kafka-consumer-groups.sh --zookeeper bdphdp01:2181 --group --list

当前2.0稳定版本kafka命令行基本操作

查看topic list

kafka-topics.sh --bootstrap-server bdpapp01:9092 --list

创建topic：

kafka-topics.sh --bootstrap-server bdpapp01:9092 --create --replication-factor 1 --partitions 2 --topic t101

生产数据：

kafka-console-producer.sh --broker-list bdpapp01:9092 --topic t101

指定组消费：

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --group g1

消费分区0：

kafka-console-consumer.sh --bootstrap-server bdpapp01:9092 --topic t101 --partition 0

查看topics:

kafka-topics.sh --bootstrap-server bdpapp01:9092 --describe --topic t101

查看groups:

kafka-consumer-groups.sh --bootstrap-server bdpapp01:9092 --group g1 --describe

删除topic：

kafka-topics.sh --bootstrap-server bdpapp01:9092 --delete --topic t101

kafka2.8 无zookeeper版本命令行操作

啓動Kafka：

kafka home: /root/kafka/kafka
./kafka-storage.sh random-uuid
./kafka-storage.sh format -t 1v7SvQQqSSyWlsI6mJTADQ -c ../config/kraft/server.properties 
./kafka-server-start.sh ../config/kraft/server.properties 
./kafka-server-start.sh -daemon  ../config/kraft/server.properties broker-list:42.193.120.74:9092
参考:https://www.cnblogs.com/smartloli/p/14722529.html

Kafka命令行操作

  1. 查看当前集群中已存在的主题topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --list
  1. 创建topic
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --create --replication-factor 1 --partitions 1 --topic test.1--zookeeper 连接zk集群
--create 创建
--replication-factor 副本
--partitions 分区
--topic 主题名
  1. 删除主题
kafka-topics.sh --bootstrap-server 42.193.120.74:2181 --delete --topic test.1
  1. 发送消息
生产者启动:kafka-console-producer.sh --broker-list 42.193.120.74:9092 --topic test.1 消费者启动:kafka-console-consumer.sh --bootstrap-server 42.193.120.74:9092 --topic test.1 --from-beginning
  1. 查看主题详细信息
kafka-topics.sh --bootstrap-server 42.193.120.74:9092 --describe --topic test.1
  1. 查看consumer group操作
group列表，使用--list参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --list test.1
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --list test.1
查看特定consumer group 详情，使用--group与--describe参数
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --group console-consumer-57168 --describe
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:9092 --group hive1 --describe 
删除consumer groups
kafka-consumer-groups.sh --bootstrap-server 42.193.120.74:6667 --delete --group g1 --group g2
  1. 删除topic
kafka-topics.sh  --delete --zookeeper 42.193.120.74:2181 --topic __consumer_offsets
  1. 通过kafka-dump-log.sh工具来查看metadata日志信息
./kafka-dump-log.sh --cluster-metadata-decoder --skip-record-metadata --files /tmp/kraft-combined-logs/\@metadata-0/*.log
  1. 通过kafka-metadata-shell.sh来查看元数据信息，这个和Zookeeper Client操作很类似
./kafka-metadata-shell.sh --snapshot /tmp/kraft-combined-logs/\@metadata-0/00000000000000000000.log
http://www.lryc.cn/news/69032.html

相关文章：

  • Pinia 上手使用（store、state、getters、actions）
  • C++小项目之文本编辑器mynote（1.0.0版本）
  • 人工智能的界面革命，消费者与企业互动的方式即将发生变化。
  • 深度学习课程：手写体识别示例代码和详细注释
  • 10-03 单元化架构设计
  • JAVA—实验3 继承与多态
  • TCP协议和相关特性
  • 【SpringCloud组件——Eureka】
  • JVM面试题(一)
  • c# 无损压缩照片大小，并且设计了界面，添加了外部Ookii.Dialogs.dll，不一样的选择文件夹界面，并且可以把外部dll打包进exe中
  • 《统计学习方法》——隐马尔可夫模型(上)
  • ElasticSearch删除索引【真实案例】
  • 基于FPGA+JESD204B 时钟双通道 6.4GSPS 高速数据采集设计（三）连续多段触发存储及传输逻辑设计
  • 对 Iterator, Generator 的理解?
  • C++基础
  • 软件测试全流程
  • 【软件测试】支付模块测试攻略，这些测试方法和注意事项你掌握了么？
  • 刷完这个笔记，17K不能再少了....
  • 知识变现创业指南-《知识变现秘籍》
  • springboot+java博物馆文物管理系统
  • Ansible 自动化运维工具(二)——Ansible 的脚本（playbook 剧本）
  • 阿里云镜像服务下载并安装Go环境
  • 工作线程快速优雅退出方式探讨
  • 甘特图控件DHTMLX Gantt教程：用PHP:Laravel实现Gantt（上）
  • ffmpeg-命令大全03
  • MATLAB中太赫兹时域光谱的最大似然参数估计
  • 详解MySQL的并发控制
  • Android Termux安装MySQL数据库 | 公网安全远程连接【cpolar内网穿透】
  • SpringBoot的常见配置
  • LabVIEWCompactRIO 开发指南25 实施LabVIEW FPGA代码的方法