当前位置: 首页 > news >正文

Kafka-eagle监控平台

Kafka-Eagle简介

image-20230815141134017

在开发工作中,当业务不复杂时,可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂,例如:需要增加group、topic分区,此时,再使用命令行就感觉很不方便,此时,如果使用一个可视化的工具帮助我们完成日常的管理工作,将会大大提高对于Kafka集群管理的效率,而且还可以使用工具来监控消费者在Kafka中消费情况。

Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点,重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。

官网:https://www.kafka-eagle.org/

安装Kafka-eagle

  • 官网下载压缩包、上传服务器并解压
  • 安装jdk,配置jdk环境变量

https://blog.51cto.com/u_15307418/3132282 -> 查看jdk默认安装路径,配置环境变量

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.372.b07-1.el7_9.x86_64
export PATH=$PATH:$JAVA_HOME/bin
  • 给kafka-eagle配置环境变量,vim /etc/profile 进入配置文件,末尾添加如下内容
export KE_HOME=/usr/local/kafka-eagle/kafka-eagle-bin-3.0.1/efak-web-3.0.1
export PATH=$PATH:$KE_HOME/bin

source /etc/profile 使环境变量生效

  • 解压缩修改配置文件 system-config.properties,修改里面的zk的地址和mysql的地址
efak.zk.cluster.alias=cluster1
cluster1.zk.list=124.222.253.33:2181
#cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181efak.driver=com.mysql.cj.jdbc.Driver
efak.url=jdbc:mysql://124.222.253.33:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
efak.username=root
efak.password=123456
  • 进入到bin中,通过命令来启动
./ke.sh start

启动成功

image-20230815153059170

平台的使用

访问地址:http://124.222.253.33:8048
用户名:admin
密 码:123456

进入平台可以查看topic、consumer等信息

image-20230815154552435

image-20230815154816846

指标解释:

指标意义
Brokers Spreadbroker使用率
Brokers Skew分区是否倾斜
Brokers Leader Skewleader partition是否存在倾斜

生产者消息总计

image-20230815154755183

等等。

http://www.lryc.cn/news/127303.html

相关文章:

  • ubuntu16.04制作本地apt源离线安装
  • 【Leetcode】91.解码方法
  • easyx图形库基础:2.基本运动+键盘交互
  • 计算机竞赛 opencv 图像识别 指纹识别 - python
  • UI自动化测试常见的Exception
  • 魔棒:手机智能无人直播软件多少钱?
  • 网络安全 Day-32 Linux 系统定时任务补充
  • 【OpenGauss源码学习 —— 执行算子(hash join 算子)】
  • [Go版]算法通关村第十二关青铜——不简单的字符串转换问题
  • 十种排序算法(附动图)
  • 【校招VIP】测试类型之兼容性测试分析
  • STM32--TIM定时器(1)
  • Android取证——基础知识
  • 【学习心得】安装cuda/cudann和pytorch
  • 中电金信通过KCSP认证 云原生能力获权威认可
  • 【Spring】Bean的实例化
  • 2023牛客暑期多校训练营8-C Clamped Sequence II
  • 【GitLab私有仓库】如何在Linux上用Gitlab搭建自己的私有库并配置cpolar内网穿透?
  • 企业计算机服务器遭到了locked勒索病毒攻击如何解决,勒索病毒解密
  • Redis哨兵模式搭建
  • 大语言模型控制生成的过程Trick:自定义LogitsProcessor实践
  • Docker容器:docker的资源控制及docker数据管理
  • 从零开始打造家装预约咨询小程序
  • es线上处理命令记录
  • mysql 在nodejs中的简单使用(增删改查)
  • 1.MySQL数据库的基本操作
  • Zabbix-6.4.4 邮箱告警SMS告警配置
  • 网络安全 Day30-运维安全项目-容器架构上
  • 深入理解设计模式-创建型之单例模式
  • Vue中路由缓存问题及解决方法