当前位置: 首页 > news >正文

kafka和zookeeper单机部署

安装kafka需要jdk和zookeeper环境,因此先部署单机zk的测试环境。

zookeeper离线安装

下载地址:

zookeeper下载地址:Index of /dist/zookeeper

 这里下载安装 zookeeper-3.4.6.tar.gz 版本,测试环境单机部署

上传服务器后解压缩

tar -zxvf zookeeper-3.4.6.tar.gz 
sudo mv zookeeper-3.4.6  /usr/local/zookeeper

配置conf文件

Zookeeper 在启动时会找zoo.cfg这个文件作为默认配置文件。

# 进入安装目录的…/conf目录下
cd conf/# 复制样例文件
cp zoo_sample.cfg zoo.cfg# 修改配置文件
vi zoo.cfg
# zookeeper内部的基本单位,单位是毫秒,这个表示一个tickTime为2000毫秒,在zookeeper的其他配置中,都是基于tickTime来做换算的
tickTime=2000#集群中的follower服务器(F)与leader服务器(L)之间 初始连接 时能容忍的最多心跳数(tickTime的数量)。
initLimit=10#syncLimit:集群中的follower服务器(F)与leader服务器(L)之间 请求和应答 之间能容忍的最多心跳数(tickTime的数量)
syncLimit=5# 数据存放文件夹,zookeeper运行过程中有两个数据需要存储,一个是快照数据(持久化数据)另一个是事务日志
dataDir=/data/zookeeper/data# 客户端访问端口
clientPort=2181

启动zk

# 启动服务
sh /usr/local/zookeeper/bin/zkServer.sh  start# 查看服务状态
sh /usr/local/zookeeper/bin/zkServer.sh   status# 测试客户端连接
sh /usr/local/zookeeper/bin/zkCli.sh

启动后查看zk状态

zookeeper参考文章:

【zookeeper安装】zookeeper安装详细教程(单机/集群部署)(linux版)-CSDN博客

zookeeper 单机版 zookeeper单机安装_蓝月亮的技术博客_51CTO博客

kafka安装 

官网下载安装包

https://kafka.apache.org/downloads.html

注:kafka需要安装zookeeper使用 

上传安装包解压文件:

tar -zxvf kafka_2.12-2.7.2.tgz
sudo mv kafka_2.12-2.7.2  /usr/local/kafka

修改配置文件


vim server.properties
添加或修改如下信息:#broker的全局唯一编号,不能重复broker.id=0#用来监听链接的端口,producer或consumer将在此端口建立连接listeners=PLAINTEXT://localhost:9092#kafka消息存放的路径log.dirs=/data/kafka/logs#broker需要使用zookeeper保存meta数据zookeeper.connect=localhost:2181 

启动kafka

前台运行
sh bin/kafka-server-start.sh ./config/server.properties后台运行
sh bin/kafka-server-start.sh -daemon ./config/server.properties

 创建topic

创建测试test的topic 

sh bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

查看topic list

sh bin/kafka-topics.sh --list --zookeeper localhost:2181

生产消息

sh bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

消费消息

sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic test
从0开始消费所有消息
sh bin/kafka-console-consumer.sh --bootstrap-server localhost:9092  --topic test --from-beginning

kafka参考文章:

Kafka最全单机安装完整步骤加测试!!_kafka单机安装-CSDN博客

kafka和zookeeper安装 - 蜂蜜log - 博客园
http://www.lryc.cn/news/457762.html

相关文章:

  • 别了,公有云!下云迁移真的是大趋势么?
  • 网关在不同行业自动化生产线的应用
  • C++ socket编程(1)
  • C# 文件夹类的实现与文件属性处理
  • 基于SSM框架和Layui的学院课程安排系统的设计与实现(源码+定制+定制)
  • 【论文笔记】DKTNet: Dual-Key Transformer Network for small object detection
  • 设计模式之适配器模式(Adapter)
  • [git] github管理项目之环境依赖管理
  • 【STM32 Blue Pill编程实例】-SD卡文件读写(SPI接口)
  • 为什么需要软件测试?
  • 成为超人:普通人如何白手起家,富一代和富二代的根本区别是什么?
  • Java 集合 Collection常考面试题
  • C++继承与菱形继承(一文了解全部继承相关基础知识和面试点!)
  • 谷歌DeepMind 德米斯·哈萨比斯 因蛋白质预测AI荣获诺贝尔化学奖
  • 内网笔记大全
  • peft.LoraConfig()参数说明
  • 串口(UART)的FPGA设计(接收与发送模块)
  • JSON 格式化工具:快速便捷地格式化和查看 JSON 数据
  • 【星汇极客】STM32 HAL库各种模块开发之1.8TFT屏幕
  • Excel中使用SQL语句的四种方法
  • 目标检测中的损失函数
  • list库实现
  • MFC工控项目实例二十三模拟量输入设置界面
  • 排序算法总结(三)希尔排序
  • 如何迁移 Linux 服务器 第一部分 - 系统准备
  • 网络IO模型都有哪些
  • 数据结构: 数组在算法中的应用
  • js快速转换时间(时间戳转换成年月日时分秒)
  • LeetCode15.三数之和
  • SpringBoot3.3 优雅启停定时任务