Kafka介绍及Go操作kafka详解
文章目录
- Kafka介绍及Go操作kafka详解
- 项目背景
- 解决方案
- 面临的问题
- 业界方案
- ELK
- ELK方案的问题
- 日志收集系统架构设计
- 架构设计
- 组件介绍
- 将学到的技能
- 消息队列的通信模型
- 点对点模式 queue
- 发布/订阅 topic
- Kafka
- 介绍
- Kafka的架构图
- 工作流程
- 选择partition的原则
- ACK应答机制
- Topic和数据日志
- Partition结构
- 消费数据
- 使用场景
- 消息队列（MQ）
- 追踪网站活动
- Metrics
- 日志聚合
- Kafka安装和启动
- 下载
- 安装
- 修改配置
- 启动
- Zookeeper启动
- LogAgent的工作流程
- log agent开发
- 下载安装
- LogAgent编码
- 存在的问题
- 引入依赖
- 最终版本
Kafka介绍及Go操作kafka详解
项目背景
每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登陆到服务器上查看即可满足当系统机器规模巨大，登陆到机器上查看几乎不现实（分布式的系统，一个系统部署在十几台机器上）
解决方案
把机器上的日志实时收集，统一存储到中心系统。再对这些日志建立索引，通过搜索即可快速找到对应的日志记录。通过提供一个界面友好的web页面实现日志展示与检索。
面临的问题
实时日志量非常大，每天处理几十亿条。日志准实时收集，延迟控制在分钟级别。系统的架构设计能够支持水平扩展。
业界方案
ELK
- AppServer：跑业务的服务器
- Logstash Agent：
- Elastic Search Cluster
- Kibana Server：数据可视化
- Browser：浏览器
ELK方案的问题
- 运维成本高，每增加一个日志收集项，都需要手动修改配置
- 使用etcd来管理被收集的日志项