当前位置: 首页 > news >正文

filebeat报错dropping too large message of size

filebeat报错:

dropping too large message of size 1714620.

原因:

kafka对每一条消息的大小进行了限制。

解决

kafka端

修改config/server.properties,添加以下配置

max_message_bytes=10000000
replica.fetch.max.bytes=10000000

修改后重启kafka

filebeat端

修改filebeat.yaml,添加以下配置
max_message_bytes: 10000000

output.kafka:hosts: ["kafka1:9092","kafka2:9092","kafka3:9092"]topic: 'topiclog'max_message_bytes: 10000000required_acks: -1

添加后重启filebeat

http://www.lryc.cn/news/246274.html

相关文章:

  • 【C++】类型转换 ④ ( 子类 和 父类 之间的类型转换 - 动态类型转换 dynamic_cast )
  • 在CentOS 7.9上搭建高性能的FastDFS+Nginx文件服务器集群并实现外部远程访问
  • YOLOv8独家原创改进: AKConv(可改变核卷积),即插即用的卷积,效果秒杀DSConv | 2023年11月最新发表
  • Docker pause/unpause命令
  • PostgreSQL create or replace view和重建视图 有什么区别?
  • Selenium 连接到现有的 Firefox 示例
  • 小程序如何进行版本回退
  • 15:00面试,15:06就出来了,问的问题有点变态。。。
  • 大数据-之LibrA数据库系统告警处理(ALM-37008 MPPDB服务不可用)
  • Pytorch-gpu环境篇
  • 互联网上门洗鞋店小程序
  • 【深度学习笔记】04 概率论基础
  • 45.113.200.1搜索引擎蜘蛛抓取不到网站内容页面可能的原因
  • VMware 系列:vSphere Client安装配置常见问题及解决方案
  • FLASK博客系列5——模板之从天而降
  • 6.一维数组——用冒泡法将10个整数由大到小排序
  • Wireshark的捕获过滤器
  • 安陆FPGA调试中遇到的问题总结
  • Springboot2+WebSocket
  • 希尔伯特和包络变换
  • 国产Ai大模型和chtgpt3.5的比较
  • 机器学习ROC曲线中的阈值thresholds
  • MySOL常见四种连接查询
  • 数智融合 开启金融数据治理新时代
  • 数据结构——利用堆进行对数组的排序
  • Unity 场景切换
  • 【PTA题目】7-12 N个数求和 分数 20
  • 智能AIGC写作系统ChatGPT系统源码+Midjourney绘画+支持GPT-4-Turbo模型+支持GPT-4图片对话
  • List转string 逗号分隔
  • 手机文件怎么传到电脑?简单方法分享!