当前位置: 首页 > news >正文

file2Udp增量日志转出Udp简介

54f3f98c7b2221a2fedc69bef786f1a8.png      

https://gitee.com/tianjingle/file2udp

很多时候服务产生的日志需要进行汇总,这种统一日志处理的方式有elb,而且很多日志组件也支持日志转出的能力。但是从广义上来说是定制化的,我们需要一个小工具实现tail -f的能力,将增量日志转到udp,然后通过logstash进行集中汇总进行外发。

77ba9db0c599f23193d7a5dc5f5105d4.png

基于此,作者利用周末开发file2Udp工具,实现日志文件增量tail -f能力,以求侵入式采集具有更大的覆盖面。

https://gitee.com/tianjingle/file2udp/releases

0b240c55d19d7c468540f16133b30bb2.png

file2Udp原理

类似于CAS原理,给予检测时间片之内文件变动,通过指针滑动读时间片内的增量日志,实现`tail -f`的能力。目前支持`window、linux(x86)、linux(arm)`版本.file2udp开发采用第三方组件:

github.com/hpcloud/tail
  1. https://gitee.com/tianjingle/file2udp/releases

  2. 找到适合自己的版本并下载

  3.  编辑`conf`文件夹下的配置文件server.ini

[system]
collector.default.files = C:\Users\Administrator\GolandProjects\awesomeProject\1.txt,C:\Users\Administrator\GolandProjects\awesomeProject\2.txt
collector.default.addr = 127.0.0.1:8888
collector.test.files = C:\Users\Administrator\GolandProjects\run.txt,C:\Users\Administrator\GolandProjects\test.log
collector.test.addr = 127.0.0.1:8889

配置说明

collector.类型.files=需要监听的文件,多个文件用,隔开
collector.类型.addr=当前类型的文件需要转出的udp地址

4. 根据版本执行run.sh、run.vbs启动日志转出,执行stop.sh、stop.vbs停止日志.
* 注意: 配置变动均需重启file2Udp进程


功能测试

  1.解压window版本,如下:

88bc99982b33f2bc1fc3e2f87dc6d8db.png

2.配置监听文件

0f30b1d2524a85da1980be0dd3d854ad.png

c35b8e103492cb4adb4608326d1e4c97.png

3.启动file2Udp.exe进程

44b27c84e13bea045cdbbb783d002ee1.png

4.启动udp服务端,编辑被监听文件

70ae76cc90be8c51ea55fc5072023979.png

http://www.lryc.cn/news/230483.html

相关文章:

  • 快速创建1个G的文件 -----window平台
  • LeetCode【33】搜索旋转排序数组
  • 若依系统富文本框上传图片报错!
  • Azure 机器学习:MLOps - 使用 Azure 机器学习进行模型管理、部署和监视
  • CSDN每日一题学习训练——Java版(分数到小数、罗马数字转整数、x 的平方根)
  • 【2021集创赛】 RISC-V杯三等奖:基于E203 处理器的SM4算法硬件加速
  • SUMO道路封闭车辆绕行仿真实验【TraCI】
  • IDEA 无法搜索或者下载插件
  • unity 使用Vuforia扫描实体物体交互
  • IDEA接口调试插件不好找?这款免费用!
  • OpenCV图像坐标系
  • 【Proteus仿真】【Arduino单片机】DHT11温湿度
  • Linux--makefile
  • Anaconda学习备忘
  • uniapp运行到安卓模拟器一直在“同步手机端程序文件完成“界面解决办法
  • leetcode:876. 链表的中间结点
  • 【m98】webrtc vs2017构建带符号的debug库
  • 【读点论文】结构化剪枝
  • JimuReport积木报表 v1.6.5 版本发布—免费报表工具
  • 【开发工具】gitee还不用会?我直接拿捏 >_>
  • 算法通关村——位运算之位移的妙用
  • 【开题报告】基于uni-app的高校新生报道APP的设计与实现
  • Elasticsearch docker-compose 使用 Logstash 从 JSON 文件中预加载数据
  • <文件操作及常用的API>
  • 深入探讨Linux中的文本文件查看命令
  • asp.net企业员工档案信息管理系统VS开发sqlserver数据库web结构c#编程计算机网页源码项目
  • WPF中的xmlns 和xmlns:x有什么区别?
  • 为什么流量卡禁区多,而手机卡却可以用呢?
  • Linux 桌面应用
  • NLP领域的突破催生大模型范式的形成与发展