当前位置： 首页 > news >正文

Kafka 01——Kafka的安装及简单入门使用

news 2025/7/26 23:20:44

Kafka 01——Kafka的安装及简单入门使用

  • 1. 下载安装
    • 1.1 JDK的安装
    • 1.2 Zookeeper的安装
      • 1.2.1 关于Zookeeper版本的选择
      • 1.2.2 下载、安装Zookeeper
    • 1.3 kafka的安装
      • 1.3.1 下载
      • 1.3.2 解压
      • 1.3.3 修改配置文件
  • 2. 启动 kafka
    • 2.1 Kafka启动
    • 2.2 启动 kafka 遇到的问题
      • 2.2.1 问题1
      • 2.2.2 问题2
  • 3. 简单实用
    • 3.1 创建topic
    • 3.2 查看已创建的topic
    • 3.3 发送消息
      • 3.3.1 发送消息命令
      • 3.3.2 遇到的问题
        • 3.3.2.1 问题1
        • 3.3.2.2 问题2
    • 3.4 接收消息
      • 3.4.1 接收消息演示
      • 3.4.2 接收消息的相关知识小点
    • 3.5 查看zk
  • 4. 总结
    • 4.1 Kafka 基本概念
    • 4.2 常见命令
      • 4.2.1 常用的基础命令
      • 4.2.2 简单实用命令
    • 4.3 数据日志
    • 4.4 结构图

1. 下载安装

1.1 JDK的安装

  • 因为kafka本身的开发语言是Scala，而Scala是基于 jdk 开发的，所以要先安装jdk，关于 jdk 的安装，可以看下面的两篇文章，如下：
    • Linux安装JDK1.8.
    • linux下普通用户（非root用户）安装JDK8.

1.2 Zookeeper的安装

1.2.1 关于Zookeeper版本的选择

  • 可以根据下面下载的 kafaka 的版本选择对应的Zookeeper版本，怎么选择，如下：
    • 方式1：直接看Kafka里libs下的jar包，如下：
      在这里插入图片描述
    • 方式2：也可以通过查看源码，看版本信息，如下：
      在这里插入图片描述

1.2.2 下载、安装Zookeeper

  • 去官网，根据需要下载对应的版本，如下：
    在这里插入图片描述
  • 关于 Zookeeper 的安装，可以看下面的文章
    zookeeper安装与使用（win+linux）.

1.3 kafka的安装

1.3.1 下载

  • 去官网下载需要的版本，官网地址：
    https://kafka.apache.org/downloads.
    在这里插入图片描述

1.3.2 解压

  • 然后解压，如下：
    tar -zxvf kafka_2.12-2.8.2.tgz
    在这里插入图片描述

1.3.3 修改配置文件

  • 修改配置文件 server.properties ，如下：
    在这里插入图片描述

  • 配置信息如下：
    在这里插入图片描述

    在这里插入图片描述

    # The id of the broker. This must be set to a unique integer for each broker.
broker.id=0listeners=PLAINTEXT://内网IP:9092
advertised.listeners=PLAINTEXT://公网IP:9092zookeeper.connect=zk的公网IP:2181# …… 其他配置，先默认即可

2. 启动 kafka

2.1 Kafka启动

  • 启动命令如下：

    ./kafka-server-start.sh ../config/server.properties &

    在这里插入图片描述

  • 启动成功之后，显示：
    在这里插入图片描述

  • 查看进程：

    ps -ef | grep kafka

    在这里插入图片描述

2.2 启动 kafka 遇到的问题

2.2.1 问题1

  • 问题描述，如下：
    org.apache.kafka.common.KafkaException: Socket server failed to bind to XXX:9092: Cannot assign requested address.
    在这里插入图片描述
  • 问题原因
    • 服务器的公网IP（对外暴露的ip）和真实ip（ifconfig显示的ip）可能只是映射关系，用户访问对外ip时，OpenStack会转发到对应的真实ip实现访问。
    • 但此时如果配置文件中 server.properties 配置中的是listeners=PLAINTEXT://公网IP:9092 的时候无法启动，因为socket无法绑定监听，就会报上面的错误。
    • 解决方法也很简单，将上面的配置，改成listeners=PLAINTEXT://内网IP:9092即可，其他使用时正常使用公网ip即可，跟真实的内网ip就没有关系了。
  • 解决问题

    • 先查看内网IP

      ifconfig

      在这里插入图片描述

    • 再修改配置文件 server.properties，如下：

      listeners=PLAINTEXT://内网IP:9092
advertised.listeners=PLAINTEXT://公网IP:9092

      在这里插入图片描述

  • 然后重新启动即可。
    在这里插入图片描述

2.2.2 问题2

3. 简单实用

3.1 创建topic

  • 如下：
    ./kafka-topics.sh --create --zookeeper zookeeper服务的IP:2181 --replication-factor 1 --partitions 1 --topic susu-topic
    在这里插入图片描述

3.2 查看已创建的topic

  • 如下：
    ./kafka-topics.sh -list --zookeeper zookeeper服务的IP:2181
    在这里插入图片描述

3.3 发送消息

3.3.1 发送消息命令

  • 如下：
    ./kafka-console-producer.sh --broker-list 内网IP:9092 --topic susu-topic或者./kafka-console-producer.sh --broker-list 公网IP:9092 --topic susu-topic
    在这里插入图片描述

3.3.2 遇到的问题

3.3.2.1 问题1

  • 问题描述如下：
    [2023-08-10 09:01:57,758] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:15,979] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:49,538] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:02:50,562] ERROR Error when sending message to topic susu-topic with key: null, value: 4 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka.common.errors.TimeoutException: Topic susu-topic not present in metadata after 60000 ms.>[2023-08-10 09:03:18,069] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
[2023-08-10 09:03:47,001] WARN [Producer clientId=console-producer] Bootstrap broker 43.143.190.116:9092 (id: -1 rack: null) disconnected (org.apache.kafka.clients.NetworkClient)
    在这里插入图片描述
  • 解决问题：
    这里我的处理是开放 9092 端口，关于开放端口和防火墙问题，可以看下面的文章：
    linux下查看防火墙状态、关闭防火墙、开放关闭端口等.

3.3.2.2 问题2

  • 开放端口之后的问题，如下，问题描述：
     WARN [Producer clientId=console-producer] Connection to node -1 (/XXX:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)
    在这里插入图片描述
  • 解决问题：
    这里就是重启服务，重启kafka，问题就解决了，不知道啥问题，总之，重启能解决百分之九十九的问题！！！

3.4 接收消息

3.4.1 接收消息演示

  • 如下：
    ./kafka-console-consumer.sh --bootstrap-server 外网IP或内网IP:9092 --topic susu-topic --from-beginning
    在这里插入图片描述

3.4.2 接收消息的相关知识小点

  • 如下：
    • 消费方式1: 从头开始消费
      ./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic susu-topic --from-beginning
    • 消费方式2: 从最后一条消息的偏移量+1开始消费
      ./kafka-console-consumer.sh --bootstrap-server IP:9092 --topic susu-topic
  • 具体如下：
    在这里插入图片描述

3.5 查看zk

  • 如下：
    在这里插入图片描述

4. 总结

4.1 Kafka 基本概念

  • Kafka 是一种消息队列，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。既然是消息队列，那么 Kafka 也就拥有消息队列的相应的特性了。
  • Kafka 像其他MQ一样，也有自己的基础架构，主要存在生产者 Producer、Kafka 集群 Broker、消费者Consumer、注册消息Zookeeper.
    • Topic：主题，一个虚拟的概念，由1到多个 Partitions 组成，可以理解为一个队列，生产者和消费者都是面向一个Topic。
    • Partition：分区，实际消息存储单位。为了实现扩展性，一个非常大的Topic可以分布到多个Broker上，一个Topic可以分为多个 Partition，每个 Partition 是一个有序的队列(分区有序，不能保证全局有序)。
    • Producer：消息生产者，向 Kafka 中发布消息的角色。
    • Consumer：消息消费者，从 Kafka 中拉取消息消费的客户端。
    • Broker：经纪人，一台 Kafka 服务器就是一个 Broker，一个集群由多个 Broker 组成，一个 Broker 可以容纳多个 Topic。

4.2 常见命令

4.2.1 常用的基础命令

  • 启动命令：
    ./kafka-server-start.sh ../config/server.properties &
  • 停止命令：
     ./kafka-server-stop.sh
  • 地点

4.2.2 简单实用命令

  • 创建topic
    # 创建topic
./kafka-topics.sh --create --zookeeper zookeeper的IP:2181 --replication-factor 1 --partitions 1 --topic susu-topic
  • 查看已经创建的topic信息
    # 查看已经创建的topic信息
./kafka-topics.sh -list --zookeeper zookeeper的IP:2181
  • 发送消息
    ./kafka-console-producer.sh --broker-list 内网IP:9092 --topic susu-topic或者./kafka-console-producer.sh --broker-list 公网IP:9092 --topic susu-topic
  • 接收消息
    ./kafka-console-consumer.sh --bootstrap-server 外网IP或内网IP:9092 --topic susu-topic --from-beginning

4.3 数据日志

  • 查看数据日志，存放路径，看配置文件里配的哪个路径 log.dirs，如下：
    在这里插入图片描述

4.4 结构图

  • 如下：
    在这里插入图片描述
http://www.lryc.cn/news/122577.html

相关文章：

  • 【爬虫】爬取旅行评论和评分
  • C++ 泛型编程：函数模板
  • .NET实现解析字符串表达式
  • Ae 效果：CC Environment
  • PotgreSQL 基于时间点恢复
  • ③ vue组件
  • 政策因子条件列表类型
  • python中yield关键字
  • 2023年10款常用的Mac工具合集
  • Python爬虫——requests_cookie登陆古诗文网
  • C++——继承
  • openGauss学习笔记-38 openGauss 高级数据管理-游标
  • Blazor简单教程(1.1)：Razor基础语法
  • Leetcode-每日一题【剑指 Offer 25. 合并两个排序的链表】
  • 前端盒子模型
  • 【ARM Cache 系列文章 9 -- ARM big.LITTLE技术】
  • 【BASH】回顾与知识点梳理（十四）
  • 乡村振兴指数与其30余个原始变量数据（2000-2022年）
  • 深入理解MySQL表的操作和管理
  • MATLAB图论合集（一）基本操作基础
  • Redis布隆过滤器的原理和应用场景，解决缓存穿透
  • 数据结构中的英文缩写和易忘的专有名词
  • Unity C# 之 Http 获取网页的 html 数据，并去掉 html 格式等相关信息
  • MODBUS TCP转CCLINK IE协议网关cclink通讯异常的处理方法
  • linux中的ifconfig和ip addr
  • 图像多目标跟踪
  • 42 | 航空公司客户价值分析
  • 第三章 图论 No.11二分图，匈牙利算法与点覆盖
  • Die2Die(D2D)和chip2chip(C2C)之间的高速互联接口
  • JAVA设计模式汇总