当前位置: 首页 > news >正文

mysql 5.7 解析binlog日志,并统计每个类型语句(insert、update、delete)、每个表的执行次数

1、mysqlbinlog工具

使用mysqlbinlog工具将文件中执行语句解析至某个文件中。

/usr/local/mnt/mysql/bin/mysqlbinlog --base64-output=DECODE-ROWS -v /usr/local/mnt/mysql/log/mysql-bin.017278  > binlog017278.sql

--base64-output=DECODE-ROWS 参数:
这个选项指定了如何处理 binlog 文件中被编码为 base64 的行事件。DECODE-ROWS 表示将 base64 编码的行事件解码为更容易阅读的格式。行事件通常在 binlog 中以 base64 编码存储,因此需要这个选项来解码它们以便于阅读。

-v 参数:
-v 选项表示“verbose”模式,也就是详细模式。使用这个选项会使 mysqlbinlog 输出更多的信息,包括详细的 SQL 语句和事件内容,而不仅仅是简略信息。这对于调试和分析日志内容非常有用。

2、使用linux中awk进行统计

使用linux中awk统计insert、update、delete执行语句以及每个表执行次数。输出结果支持直接复制至excel中。

awk '
/INSERT INTO `/ {match($0, /`([^`]*)`\.`([^`]*)`/, arr); print "INSERT\t" arr[1] "." arr[2]}
/UPDATE `/ {match($0, /`([^`]*)`\.`([^`]*)`/, arr); print "UPDATE\t" arr[1] "." arr[2]}
/DELETE FROM `/ {match($0, /`([^`]*)`\.`([^`]*)`/, arr); print "DELETE\t" arr[1] "." arr[2]}
' binlog017320_017349.sql | sort | uniq -c | awk '{print $2, $3, $1}' OFS='\t'

awk 脚本:
/INSERT INTO /:匹配包含 INSERT INTO 的行,提取表名。
/UPDATE /:匹配包含 UPDATE 的行,提取表名。
/DELETE FROM /:匹配包含 DELETE FROM 的行,提取表名。
每个匹配模式会使用 match 函数提取表名,并将它们与相应的操作类型一起输出。

sort 和 uniq -c :
sort:对输出的表名和操作类型进行排序。
uniq -c:统计每种表名和操作类型组合的出现次数。

http://www.lryc.cn/news/416040.html

相关文章:

  • MySQL案例:MHA实现主备切换(主从架构)万字详解
  • 81.SAP ME - SAP SMGW Getway Monitor
  • SAPUI5基础知识24 - 如何向manifest.json中添加模型(小结)
  • 操作系统---文件管理
  • C语言指针详解(三)目录版
  • 【AI资讯早报】AI科技前沿资讯概览:2024年8月6日早报
  • 等保测评中的密码技术与密钥管理
  • go语言flag库学习
  • 2024年必备技能:智联招聘岗位信息采集技巧全解析
  • 《机器学习by周志华》学习笔记-决策树-02
  • centos Python3.6升级3.8
  • 文章解读与仿真程序复现思路——电网技术EI\CSCD\北大核心《基于竞价空间预测的虚拟电厂日前竞价策略》
  • Simulink模型开发中的一些自动化方法
  • RabbitMQ消费者消费消息失败处理
  • Apache Kylin分布式的分析数据仓库
  • informer中DeltaFIFO机制的实现分析与源码解读
  • 树莓派下,centos7amr64下,搭建目标检测开发环境,java语言
  • SpringBoot+Redis 发布与订阅
  • huggingface无法访问怎么办?一招教你解决,使用hf-mirror.com镜像站快速下载各种大模型
  • 如何用密码保护你的 WordPress 管理员 (wp-admin) 目录
  • java 程序包org.junit.jupiter.api不存在
  • 简单的docker学习 第4章 docker容器
  • 零基础入门转录组数据分析——机器学习算法之SVM-RFE(筛选特征基因)
  • Python酷库之旅-第三方库Pandas(067)
  • Spring快速学习
  • 【Web开发手礼】探索Web开发的秘密(十五)-Vue2(2)AJAX、前后端分离、前端工程化
  • Phalco安装过程以及踩的一些坑(mac环境)
  • Ubuntu修改双系统默认启动顺序
  • 高仲富:49岁搞AI,白天种菜卖菜,晚上学数学搞程序
  • 光线追踪(纹理映射)