当前位置: 首页 > news >正文

ELK日志收集

目前,各个微服务系统的日志都保存在各自指定的目录中,如果这些微服务部署在不同的服务器上,那么日志文件也是分散在各自的服务器上。分散的日志不利于我们快速通过日志定位问题,我们可以借助ELK来收集各个微服务系统的日志并集中展示。

ELK即Elasticsearch、Logstash和Kibana首字母缩写。Elasticsearch用于存储日志信息,Logstash用于收集日志,Kibana用于图形化展示。

搭建ELK环境

在Windwos上搭建ELK环境较为麻烦,这里我选择在CentOS7 上通过Docker来搭建ELK环境,对Docker基本使用不熟悉的同学可以参考 Docker基础教程。

在此之前,我们需要准备一台CentOS 7虚拟机。推荐大家使用Vagrant来创建,创建教程可以参考:使用Vagrant创建CentOS虚拟机。这里分享下我的Vagrantfile配置:

 Vagrant.configure("2") do |config|config.vm.box = "centos7"config.vm.network "private_network", ip: "192.168.33.10"config.vm.hostname = "febs"config.vm.provider "virtualbox" do |v|v.memory = 6144v.cpus = 2endend

上面配置了虚拟机的IP地址为192.168.33.10,hostname为febs,内存为6*1024MB(6144MB即6GB),cpu核心数为2。

安装docker

在CMD终端使用命令vagrant ssh连接虚拟机后,运行sudo -s切换到root用户,下面的示例都是用root用户完成的。

在Linux中安装Docker可以参考官方文档:CentOS | Docker Docs,主要分为下面这几步:

  1. 卸载旧版本Docker(如果系统之前没安装过Docker,可以跳过):

 yum remove docker \docker-client \docker-client-latest \docker-common \docker-latest \docker-latest-logrotate \docker-logrotate \docker-engine
  1. 安装Docker所需要的包:

 yum install -y yum-utils \device-mapper-persistent-data \lvm2
  1. 设置稳定的仓库:

 yum-config-manager \--add-repo \https://download.docker.com/linux/centos/docker-ce.repo
  1. 安装最新版的Docker引擎:

 yum install docker-ce docker-ce-cli containerd.io
  1. 启动Docker:

 systemctl start docker

查看是否安装成功:

安装Docker Compose

安装好Docker后,我们接着安装Docker Compose,官方安装教程 Install | Docker Docs,主要步骤为:

  1. 获取Docker Compose的最新稳定版本:

 curl -L "https://github.com/docker/compose/releases/download/1.24.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
  1. 对二进制文件授予可执行权限:

 chmod +x /usr/local/bin/docker-compose
  1. 创建link:

 ln -s /usr/local/bin/docker-compose /usr/bin/docker-compose

查看是否安装成功:

Docker Compose搭建ELK

在搭建ELK之前,我们需要做一些准备工作。

正如官方所说的那样 Virtual memory | Elasticsearch Guide [8.15] | Elastic,Elasticsearch默认使用mmapfs目录来存储索引。操作系统默认的mmap计数太低可能导致内存不足,我们可以使用下面这条命令来增加内存:

 sysctl -w vm.max_map_count=262144

创建Elasticsearch数据挂载路径:

 mkdir -p /febs/elasticsearch/data

对该路径授予777权限:

 chmod 777 /febs/elasticsearch/data

创建Elasticsearch插件挂载路径:

 mkdir -p /febs/elasticsearch/plugins

创建Logstash配置文件存储路径:

 mkdir -p /febs/logstash

在该路径下创建logstash-febs.conf配置文件(没有安装vim的话可以使用yum install vim命令安装):

 vim /febs/logstash/logstash-febs.conf

内容如下所示:

 input {tcp {mode => "server"host => "0.0.0.0"port => 4560codec => json_lines}}output {elasticsearch {hosts => "es:9200"index => "febs-logstash-%{+YYYY.MM.dd}"}}

创建ELK Docker Compose文件存储路径:

 mkdir -p /febs/elk

在该目录下创建docker-compose.yml文件:

 vim /febs/elk/docker-compose.yml

内容如下所示:

 version: '3'services:elasticsearch:image: elasticsearch:6.4.1container_name: elasticsearchenvironment:- "cluster.name=elasticsearch" #集群名称为elasticsearch- "discovery.type=single-node" #单节点启动- "ES_JAVA_OPTS=-Xms512m -Xmx512m" #jvm内存分配为512MBvolumes:- /febs/elasticsearch/plugins:/usr/share/elasticsearch/plugins- /febs/elasticsearch/data:/usr/share/elasticsearch/dataports:- 9200:9200kibana:image: kibana:6.4.1container_name: kibanalinks:- elasticsearch:es #配置elasticsearch域名为esdepends_on:- elasticsearchenvironment:- "elasticsearch.hosts=http://es:9200" #因为上面配置了域名,所以这里可以简写为http://es:9200ports:- 5601:5601logstash:image: logstash:6.4.1container_name: logstashvolumes:- /febs/logstash/logstash-febs.conf:/usr/share/logstash/pipeline/logstash.confdepends_on:- elasticsearchlinks:- elasticsearch:esports:- 4560:4560

切换到/febs/elk目录下,使用如下命令启动:

 docker-compose up -d

第一次启动的时候,Docker需要拉取ELK镜像,过程可能稍慢,耐心等待即可。成功启动后,观察容器运行情况:

145.png

三个容器都已经启动成功。

Logstash中安装json_lines插件

使用如下命令进入到Logstash容器中:

 docker exec -it logstash /bin/bash

切换到/bin目录,安装json_lines插件,然后退出:

使用浏览器访问http://192.168.33.10:5601便可以看到Kibana管理界面:

修改微服务日志配置

就目前微服务模块来说,我们比较关注febs-auth、febs-gateway、febs-server-system和febs-server-test模块的日志,所以我们分别在febs-auth、febs-gateway和febs-server模块的pom里引入Logstash依赖:

 <dependency><groupId>net.logstash.logback</groupId><artifactId>logstash-logback-encoder</artifactId><version>6.1</version></dependency>

然后在febs-auth、febs-gateway、febs-server-system和febs-server-test模块的日志配置文件logback-spring.xml里添加如下配置:

 <!--输出到 logstash的 appender--><appender name="logstash" class="net.logstash.logback.appender.LogstashTcpSocketAppender"><destination>192.168.33.10:4560</destination><encoder charset="UTF-8" class="net.logstash.logback.encoder.LogstashEncoder"/></appender>​......<root level="info">......<appender-ref ref="logstash" /></root>

192.168.33.10:4560对应我们刚刚搭建的Logstash地址。

演示

依次启动febs-register、febs-gateway、febs-auth、febs-server-system和febs-server-test模块,然后回到Kibana管理界面创建Kinaba Index Patterns:

在Index pattern里输入我们在logstash配置文件logstash-febs.confoutput.index指定的值febs-logstash-*

点击Next Step,在下拉框里选择@timestamp

最后点击Create Index Pattern按钮完成创建。

使用PostMan获取令牌:

然后发送一笔localhost:8301/test/hello?name=夏天请求:

在Kibana里搜索这笔日志:

日志收集成功。

整合ELK后,我们的系统架构图如下所示:

http://www.lryc.cn/news/467772.html

相关文章:

  • 常见docker命令
  • 测试新人刚入行,该如何规划以后的发展路径?
  • Boosting Object Detection with Zero-Shot Day-Night Domain Adaptation
  • Chromium html<lable>c++接口定义
  • QT中中文显示乱码问题
  • [面试常见]Javascript基础知识
  • 使用注解@ExcelIgnoreUnannotated实现了在导出 Excel 时忽略没有被标注的字段
  • 线程的同步
  • 【启明智显分享】ZX7981PG/ZX7981PM融入官方OpenWrt,启明智显SDK/官方OpenWrt任由选择!
  • 如何用java发送包含表格形式的邮件
  • 讲个故事:关于一次接口性能优化的心里路程
  • Centos7升级到openssh9.9
  • 使用 STM32F407 串口实现 485 通信
  • 基于NERF技术重建学习笔记
  • webView 支持全屏播放
  • QGIS之三十二DEM地形导出三维模型gltf
  • 【python爬虫】携程旅行景点游客数据分析与可视化
  • python实现onvif协议下控制摄像头变焦,以及融合人形识别与跟踪控制
  • 【Vue】Vue3.0(十四)接口,泛型和自定义类型的概念及使用
  • 【C++】红黑树万字详解(一文彻底搞懂红黑树的底层逻辑)
  • 开源FluentFTP实操,操控FTP文件
  • 论文解读 | ECCV2024 AutoEval-Video:一个用于评估大型视觉-语言模型在开放式视频问答中的自动基准测试...
  • postgresql14主从同步流复制搭建
  • 企业信息化管理中的数据集成方案:销售出库单对接
  • 3.cpp基本数据类型
  • MCK主机加固与防漏扫的深度解析
  • 《软件估算之原始功能点:精准度量软件规模的关键》
  • 序列化与反序列化
  • 安装nginx实现多ip访问多网站
  • 每日回顾:简单用C写 冒泡排序、快速排序