当前位置: 首页 > news >正文

docker安装kafka

前言

最近在用kafka做项目,所以本地搭建下kafka,但是又嫌java安装和安装kafka太麻烦,所以想到用docker来部署。

镜像

wurstmeister/kafka

维护较为频繁的一个Kafka镜像。只包含了Kafka,因此需要另行提供ZooKeeper,推荐使用同一作者提交的wurstmeister/zookeeper。

现在已经提供较新的1.1.0版本。

搭建开发环境

1 ZooKeeper &1 Kafka

这里以我自己最常用的wurstmeister/kafka为例,使用docker-compose运行一个只有一个ZooKeeper node和一个Kafka broker的开发环境:

docker-compose.yml

version: '2'

services:

zoo1:

image: wurstmeister/zookeeper

restart: unless-stopped

hostname: zoo1

ports:

- "2181:2181"

container_name: zookeeper

# kafka version: 1.1.0

# scala version: 2.12

kafka1:

image: wurstmeister/kafka

ports:

- "9092:9092"

environment:

KAFKA_ADVERTISED_HOST_NAME: localhost

KAFKA_ZOOKEEPER_CONNECT: "zoo1:2181"

KAFKA_BROKER_ID: 1

KAFKA_OFFSETS_TOPIC_REPLICATION_FACTOR: 1

KAFKA_CREATE_TOPICS: "test1_topic,test2_topic"

depends_on:

- zoo1

container_name: kafka

这里利用了wurstmeister/kafka提供的环境参数KAFKA_CREATE_TOPICS使Kafka运行后自动创建topics,当时你不修改kafka的配置(auto.create.topics.enable),扔到新的topic也会自动创建。

启动容器

在docker-compose.yml所在的目录执行以下命令:

docker-compose up -d

运行

docker ps -a

与容器内的开发环境交互

可以使用docker exec命令直接调用kafka容器内的脚本来进行创建/删除topic,启动console producer等等操作。

如果本地存有与容器内相同的Kafka版本文件,也可以直接使用本地脚本文件。如上述docker-compose.yml文件所示,kafka1的hostname即是kafka1,端口为9092,通过kafka1:9092就可以连接到容器内的Kafka服务。

列出所有topics (在本地kafka路径下)

$ bin/kafka-topics.sh --zookeeper localhost:2181 --list

列出所有Kafka brokers

$ docker exec zookeeper bin/zkCli.sh ls /brokers/ids

http://www.lryc.cn/news/32880.html

相关文章:

  • Selenium4+Python3系列(十一) - Page Factory设计模式
  • C++基础知识【4】函数及参数
  • 约瑟夫森磁效应
  • 什么是L1和L2正则化,以及它们有什么区别
  • 场景式消费激发春日经济,这些电商品类迎来消费热潮
  • [2.1.4]进程管理——进程通信
  • ChatGPT也有犯晕的时候
  • 机器学习与目标检测作业:连通块算法
  • HBase基础 --- 增删查改
  • 如何基于AI智能视频技术实现公园景区的人流量实时统计?
  • 【JavaWeb】Servlet详解
  • 谁是世界上最好的编程语言?--编程语言70年浅谈
  • Webpack前端资源加载/打包工具
  • springcloud3 fegin实现服务调用1
  • 专业版即将支持自定义场景测试
  • Process Monitor工具使用实验(23)
  • 钓鱼客服到拿下服务器全过程(重点在于钓鱼添加img src)
  • 【C++】list迭代器的深度剖析及模拟实现(感受类封装,类和对象的思想)
  • JavaScript 语句、注释和代码块实例集合
  • 华为机试题:HJ103 Redraiment的走法(python)
  • html+css 实现 熊猫样式
  • Vue基础19之插槽
  • [Gin]框架底层实现理解(一)
  • css3横向无限公告消息滚动功能
  • 【Git】Git工作流程及使用
  • 降本增效,合作伙伴营销助力业绩增长
  • 【独家】华为OD机试 - 运动会(C 语言解题)
  • 【每天学习一点新知识】JNDI注入
  • Transwarp KunDB 实施方案
  • Redis学习之主从复制(八)