当前位置: 首页 > news >正文

如何给ELK日志加上索引

问题记录

1、遇到长流程的时候,日志记录是非常重要的。如何排查日志,可以在MDC中去put对应的值,这样就等于对你关心的关键字段加上了索引,在elk中可以通过该索引就能 容易排查到问题

logback的设置 可以参照:

【总体日志】

<?xml version="1.0" encoding="UTF-8"?>
<configuration><property name="CHARSET" value="UTF-8" /><!-- 使用SkyWalking提供的traceID --><conversionRule conversionWord="tid" converterClass="org.apache.skywalking.apm.toolkit.log.logback.v1.x.LogbackPatternConverter"/><!-- 使用application.yml配置 --><springProperty scope="context" name="LOG_HOME" source="logging.file.path" /><property name="LOG_PATTERN" value="%d{yyyy-MM-dd HH:mm:ss:SSS} %highlight([%tid] [%X{X-B3-TraceId}] [%p])  %boldYellow(%c{36}) - %m%n" /><include resource="logback/logback-project.xml"/>
<!--    <include resource="logback/logback-request.xml"/>--><include resource="logback/logback-error.xml"/><!-- 总日志输出到控制台 --><appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender"><encoder><pattern>${LOG_PATTERN}</pattern><charset>${CHARSET}</charset></encoder></appender><root level="INFO"><appender-ref ref="STDOUT" /><appender-ref ref="PROJECT_APPENDER" /><appender-ref ref="ERROR_APPENDER" /></root>
</configuration>

【业务日志】

<!-- 这里配置项目业务日志-->
<included><!-- 项目业务日志Appender --><appender name="PROJECT_APPENDER" class="ch.qos.logback.core.rolling.RollingFileAppender"><file>${LOG_HOME}/project.log</file><rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy"><fileNamePattern>${LOG_HOME}/project-%d{yyyyMMdd}.%i.log</fileNamePattern><timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP"><maxFileSize>500MB</maxFileSize></timeBasedFileNamingAndTriggeringPolicy></rollingPolicy><filter class="ch.qos.logback.classic.filter.LevelFilter"><level>ERROR</level><onMatch>DENY</onMatch><onMismatch>ACCEPT</onMismatch></filter><append>true</append><encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder"><providers><pattern><pattern>{"logtime":"%date{yyyy-MM-dd HH:mm:ss.SSS}","traceId":"%tid","level":"%level","seq":"%X{seq}","offset":"%X{offset}","partition":"%X{partition}","threadName":"%thread","className":"%class","content":"%message","stackTrace":"%exception{10}"}</pattern></pattern></providers></encoder></appender><logger name="com.myhexin.zixun.cmp.review.server" level="DEBUG"><appender-ref ref="PROJECT_APPENDER" /></logger>
</included>

【aop切面类】

import cn.hutool.json.JSONUtil;
import lombok.extern.slf4j.Slf4j;
import org.apache.commons.lang.StringUtils;
import org.aspectj.lang.ProceedingJoinPoint;
import org.aspectj.lang.annotation.Around;
import org.aspectj.lang.annotation.Aspect;
import org.aspectj.lang.annotation.Pointcut;
import org.slf4j.MDC;
import org.springframework.stereotype.Component;import java.util.UUID;/*** @description:* @author: liuzhihui@myhexin.com* @date: 2021/6/3  10:58**/@Aspect
@Component
@Slf4j
public class NewsOfflineAspect {private final String POINT_CUT = "execution(* com.myhexin.zixun.server.content.operate.deploy.domain.news.service.impl.OfflineOrOnlineServiceImpl.offlineOrOnlineNews(..))";@Pointcut(POINT_CUT)public void pointCut() {}@Around(value = "pointCut()")public Object doAround(ProceedingJoinPoint joinPoint) throws Throwable {Object[] args = joinPoint.getArgs();String s = String.valueOf(args[0]);String seq = StringUtils.substringBetween(s, "seq=", ")");if (StringUtils.isNotEmpty(seq)) {MDC.put("seq", seq);} else {MDC.put("seq", "Random-" + UUID.randomUUID().toString());}try {return joinPoint.proceed();} catch (Throwable throwable) {log.error(">>>>入参 {} <<<<<", JSONUtil.toJsonStr(args), throwable);throw throwable;} finally {MDC.remove("seq");}}
}

业务日志里的log patter放了seq 字段,那就可以在进入aop的时候 打上seq作为日志的字段索引,然后在处理流程结束的时候,拿出seq字段索引,这样排查的时候,就可以根据这个字段来排查了。
同样的,如果是kafka的接受类,你可以把 offset和partition作为字段索引,也是及其好用的。

http://www.lryc.cn/news/129201.html

相关文章:

  • elementUI遇到的问题记录
  • 计算机竞赛 协同过滤电影推荐系统
  • 网络综合布线实训室建设方案
  • 【山河送书第七期】:《强化学习:原理与Python实战》揭秘大模型核心技术RLHF!
  • LeetCode 400. 第 N 位数字——JAVA
  • 解决生成式AI落地之困,亚马逊云科技提供完整解决方案
  • 【5款登录验证校验】基于jquery实现的5款登录验证码组件(附完整源码)
  • 数据结构的树存储结构
  • linux--epoll
  • async和await
  • 如何从cpu改为gpu,pytorch,cuda
  • JavaScript简介--语句--变量
  • Windows CMD 关闭,启动程序
  • 统计XML标注文件中各标注类别的标签数量
  • 一百六十、Kettle——Linux上安装的Kettle9.2.0连接Hive3.1.2
  • C++新经典03--共用体、枚举类型与typedef
  • HCIP-OpenStack组件介绍
  • 2682. 找出转圈游戏输家
  • RESTAPI简介与DRF使用
  • 深度学习笔记(kaggle课程《Intro to Deep Learning》)
  • windows下载任意版本php
  • Linux命令
  • TDD(测试驱动开发)?
  • C/C++
  • CCF C³ 走进百度:大模型与可持续生态发展
  • Vue使用html2canvas将DOM节点生成对应的PDF
  • 专访阿里云席明贤,视频云如何运用大模型与小模型来破茧升级2.0
  • Vue 2的计算属性与侦听器
  • JavaScript基础:学习JavaScript语言的基本语法和常用操作,了解网页交互的基本原理
  • 网络每日一练