当前位置: 首页 > news >正文

spring-cloud-starter-gateway 使用中 KafkaAppender的问题

公司需要将应用日志上报到kafka,以供分析与查看。

结合logback可以完成此功能,大致配置如下:

<appender name="KafkaAppender" class="com.github.danielwegener.logback.kafka.KafkaAppender"><encoder class="com.github.danielwegener.logback.kafka.encoding.LayoutKafkaMessageEncoder"><layout class="net.logstash.logback.layout.LogstashLayout" ><includeContext>true</includeContext><includeCallerData>true</includeCallerData><fieldNames class="net.logstash.logback.fieldnames.ShortenedFieldNames"/></layout><charset>UTF-8</charset></encoder><!--kafka topic 需要与配置文件里面的topic一致 否则kafka会沉默并鄙视你--><topic>${topic}</topic><keyingStrategy class="com.github.danielwegener.logback.kafka.keying.HostNameKeyingStrategy" /><deliveryStrategy class="com.github.danielwegener.logback.kafka.delivery.AsynchronousDeliveryStrategy" /><producerConfig>bootstrap.servers=${BOOT_SERVER}</producerConfig></appender>

上述配置有个问题:
当kafka服务异常时,会阻塞业务系统请求。

此时,引入AsyncAppender可以处理上面的问题,让日志系统异步执行,当kafka出现问题时,不阻塞业务系统,大致配置如下:

<appender name="ASYNC" class="ch.qos.logback.classic.AsyncAppender"><appender-ref ref="KafkaAppender"/><queueSize>1000</queueSize><discardingThreshold>0</discardingThreshold><!--这里一定要配置--><neverBlock>true</neverBlock></appender>

实际使用时,本地启动,一切正常,当将jar放到服务器上时,日志系统无法启动,最终导致服务启动失败,部分堆栈如下:

Caused by: java.lang.IllegalStateException: Logback configuration error detected: 
ERROR in com.github.danielwegener.logback.kafka.KafkaAppender[KafkaAppender] - Appender [KafkaAppender] failed to append. org.apache.kafka.common.errors.InterruptException: java.lang.InterruptedException
ERROR in com.github.danielwegener.logback.kafka.KafkaAppender[KafkaAppender] - Appender [KafkaAppender] failed to append. org.apache.kafka.common.errors.InterruptException: java.lang.InterruptedException
ERROR in com.github.danielwegener.logback.kafka.KafkaAppender[KafkaAppender] - Appender [KafkaAppender] failed to append. org.apache.kafka.common.errors.InterruptException: java.lang.InterruptedExceptionat org.springframework.boot.logging.logback.LogbackLoggingSystem.loadConfiguration(LogbackLoggingSystem.java:169)at org.springframework.boot.logging.AbstractLoggingSystem.initializeWithConventions(AbstractLoggingSystem.java:80)at org.springframework.boot.logging.AbstractLoggingSystem.initialize(AbstractLoggingSystem.java:60)at org.springframework.boot.logging.logback.LogbackLoggingSystem.initialize(LogbackLoggingSystem.java:118)at org.springframework.boot.context.logging.LoggingApplicationListener.initializeSystem(LoggingApplicationListener.java:313)at org.springframework.boot.context.logging.LoggingApplicationListener.initialize(LoggingApplicationListener.java:288)at org.springframework.boot.context.logging.LoggingApplicationListener.onApplicationEnvironmentPreparedEvent(LoggingApplicationListener.java:246)at org.springframework.boot.context.logging.LoggingApplicationListener.onApplicationEvent(LoggingApplicationListener.java:223)at org.springframework.context.event.SimpleApplicationEventMulticaster.doInvokeListener(SimpleApplicationEventMulticaster.java:172)at org.springframework.context.event.SimpleApplicationEventMulticaster.invokeListener(SimpleApplicationEventMulticaster.java:165)at org.springframework.context.event.SimpleApplicationEventMulticaster.multicastEvent(SimpleApplicationEventMulticaster.java:139)at org.springframework.context.event.SimpleApplicationEventMulticaster.multicastEvent(SimpleApplicationEventMulticaster.java:127)at org.springframework.boot.context.event.EventPublishingRunListener.environmentPrepared(EventPublishingRunListener.java:76)at org.springframework.boot.SpringApplicationRunListeners.environmentPrepared(SpringApplicationRunListeners.java:53)at org.springframework.boot.SpringApplication.prepareEnvironment(SpringApplication.java:345)at org.springframework.boot.SpringApplication.run(SpringApplication.java:308)at org.springframework.boot.SpringApplication.run(SpringApplication.java:1226)at org.springframework.boot.SpringApplication.run(SpringApplication.java:1215)at cn.com.bdo.gateway.BizBdoGatewayApplication.main(BizBdoGatewayApplication.java:16)

经过不断尝试,日志系统添加以下配置即可处理上述问题:

<logger name="org.springframework.boot.context.logging" level="DEBUG"/>

由于只有服务器上有问题,debug比较困难,所以没有继续分析原因。

特此记录。

http://www.lryc.cn/news/521577.html

相关文章:

  • 【全套】基于分类算法的学业警示预测信息管理系统
  • Elasticsearch Python 客户端是否与自由线程 Python 兼容?
  • 基于大语言模型的组合优化
  • #CSS混合模式:解决渐变背景下的文字可见性问题
  • Vue2+OpenLayers给标点Feature添加信息窗体(提供Gitee源码)
  • 实战threeJS数字孪生开源 数字工厂
  • 【Python基础篇】——第3篇:从入门到精通:掌握Python数据类型与数据结构
  • 算法3(力扣83)-删除链表中的重复元素
  • HarmonyOS 鸿蒙 ArkTs(5.0.1 13)实现Scroll下拉到顶刷新/上拉触底加载,Scroll滚动到顶部
  • .NET8.0多线程编码结合异步编码示例
  • SpringBoot项目中解决CORS跨域资源共享问题
  • Android string.xml中特殊字符转义
  • 解析传统Workflow、AI Workflow与AI Agent概念,并通过Coze案例探讨利用AI工作流构建应用的实践流程
  • 光谱相机的光谱分辨率可以达到多少?
  • android Recyclerview viewholder统一封装
  • Windows部署NVM并下载多版本Node.js的方法(含删除原有Node的方法)
  • 51单片机入门基础
  • 老centos7 升级docker.io为docker-ce 脚本
  • 数仓建模(三)建模三步走:需求分析、模型设计与数据加载
  • PHP xml 常用函数整理
  • 数据结构(Java版)第八期:LinkedList与链表(三)
  • 数据结构学习记录-数据结构概念
  • 【Linux】11.Linux基础开发工具使用(4)
  • 数据结构与算法之栈: LeetCode 1047. 删除字符串中的所有相邻重复项 (Ts版)
  • C++ 在线编译软件介绍、杭电OJ、北大OJ、力扣OJ
  • Java学习笔记(二十三)
  • 《AI赋能鸿蒙Next,开启智能关卡设计新时代》
  • js:正则表达式
  • linux环境使用docker部署多个war项目
  • 【react】使用antd Table渲染数据遇到的报错问题