潇洒郎: Kafka Ubuntu 安装部署,命令行或者python生产数据与消费数据(kafka-python)
一、Kafka 应用场景总结
1.日志收集系统
Kafka可集中收集各类服务的日志,通过高效存储和水平扩展能力,支持后续日志清洗、聚合和分析(如与 ELK 栈集成)。
2.消息队列
作为企业级消息中间件,解耦生产者和消费者,提供高吞吐量、低延迟的消息传递,替代传统系统如 ActiveMQ 和 RabbitMQ。
3.用户活动跟踪
记录 Web/App 用户的浏览、搜索、点击等行为,支持实时处理(如 Flink/Spark Streaming)和离线分析(如 Hadoop 数仓)。
4.运营监控与报警
收集系统指标(CPU、内存等结构化数据),结合实时流处理生成监控仪表盘和报警通知。
5.流式处理
通过 Kafka Streams API 或集成 Flink/Spark,实现实时数据流处理(如过滤、聚合、有状态计算)。
6.事件溯源
存储应用状态变更事件,支持故障恢复时通过重放事件重建状态。
7.数据集成与 CDC
利用 Kafka Connect 构建数据管道,同步数据库变更(CDC)到数据湖、缓存或辅助系统。
二、Ubuntu部署Kafka步骤
1. 安装java依赖
sudo apt update && sudo apt install openjdk-11-jdk -y
java -version # 验证安装
2. 下载并解压 Kafka
wget https://archive.apache.org/dist/kafka/3.6.1/kafka_2