当前位置: 首页 > news >正文

kafka实战报错解决问题

需求

在一个在线商城中,用户下单后需要进行订单的处理。为了提高订单处理的效率和可靠性,我们使用Kafka来实现订单消息的异步处理。当用户下单后,订单信息会被发送到Kafka的一个Topic中,然后订单处理系统会从该Topic中消费订单消息,进行订单处理。
模拟数据
以下是一条模拟订单数据的JSON格式:
{
“order_id”: 1,
“user_id”: 1001,
“product_id”: 2001,
“quantity”: 1,
“amount”: 100.0
}
我们可以根据这个格式生成100条模拟数据,并发送到Kafka的order_topic中进行订单处理。
要求:
1) 将模拟数据发送到kafka消息队列中
2) 接收kafka队列中的订单信息,并打印到控制台
相关知识点:kafka发送、接收消息

报错

brokerid 102-0 103-1 104-2 报错
在这里插入图片描述
文心一言
在这里插入图片描述
kafka配置文件
在这里插入图片描述
kafka日志查看
state-change.log 报错
Failed to elect leader for partition __consumer_offsets-27 under strategy
在这里插入图片描述
文心一言
在这里插入图片描述
网络解决办法
问题原因 新增加的副本的offset 副本的offset比leader的新 所以在elect的时候出现问题
在kafka的home path 的bin目录下 执行自带平衡topic 脚本
尝试执行命令 还是报错

解决

修改kafka配置文件server.properties
1)zookeeper修改为单机
在这里插入图片描述
2)num.partitions,offsets.topic.replication.factor保持为1
在这里插入图片描述
3)选择性将监听注释
在这里插入图片描述
再次启动kafka服务,开启消费者和生产者,发现生产的消息,本机无法消费到,原因应该是zookeeper目录下的_consumer_offset有问题,默认偏移量出错,导致接收不到,除非是从头消费。
将consumer_offset 删除
具体看参考

最终问题解决

参考
生产者可以顺利发送消息,消费者接受不到消息的处理方法

http://www.lryc.cn/news/165264.html

相关文章:

  • vite+react 使用 react-activation 实现缓存页面
  • 【android 蓝牙开发——蓝牙耳机】
  • Golang goroutine 进程、线程、并发、并行
  • 如何做到安全上网
  • 优维低代码实践:菜单
  • git merge 如何撤销
  • 解读package.json 中的功能
  • UMA 2 - Unity Multipurpose Avatar☀️四.UMA人物部位的默认颜色和自定义(共享)颜色
  • phpstorm配置php运行环境
  • 算法训练营day49|动态规划 part10:(LeetCode 121. 买卖股票的最佳时机、122.买卖股票的最佳时机II)
  • Swagger 使用教程
  • 单例模式-饿汉模式、懒汉模式
  • UG\NX二次开发 复制3元素的double数组到另一个数组 UF_VEC3_copy
  • 骨传导耳机对人体有危险吗?会损害听力吗?
  • Spring Boot @Value读不到Nacos配置中心的值。(properties配置文件)
  • Rocky Linux怎么安装mysql
  • 轻量级软件FastGithub实现稳定访问github
  • 芯科蓝牙BG27开发笔记6-精简第一个程序
  • Android8.1 hal 加载wifi ko模块流程
  • Unity SteamVR 开发教程:SteamVR Input 输入系统(2.x 以上版本)
  • PyTorch中,卷积层、池化层、转置卷积层输出特征图形状计算公式总结
  • Git Cherry Pick命令
  • 算法:经典贪心算法--跳一跳[2]
  • Vue 和 React 前端框架的比较
  • 【Java】什么是过滤器链(FilterChain )?哪些场景可以使用过滤器链?
  • Vue-video-player下载失败(npm i 报错)
  • 数据在内存中的存储(1)
  • LINUX常用命令练习
  • 2022年全国研究生数学建模竞赛华为杯C题汽车制造涂装-总装缓存调序区调度优化问题求解全过程文档及程序
  • 文本直接生成3D游戏场景、功能,用ChatGPT方式开发游戏!