应用日志集成到ElasticSearch
1、阿里云sls平台集成日志
阿里sls集成日志步骤
2、filebeat 收集到指定es
安装docker容器
Docker安装
拉取镜像：
docker pull elastic/filebeat:7.5.1
启动：
docker run -d --name=filebeat elastic/filebeat:7.5.1
拷贝容器中的数据文件到宿主机：
mkdir -p /data/elk7
docker cp filebeat:/usr/share/filebeat /data/elk7/
设置权限
chmod 777 -R /data/elk7/filebeat
#go-w: 这个命令表示去掉文件的“组”和“其他用户”的写权限。其中，
#g 代表组权限，o 代表其他用户权限，-w 表示去掉写权限。
chmod go-w /data/elk7/filebeat/filebeat.yml
配置filebeat
vim /data/elk7/filebeat/filebeat.yml
修改样例如下：
filebeat.inputs:- type: logenabled: truepaths:- /var/log/*.logfields:AppId: "springbootadmin"ENV: "DEV"fields_under_root: truetags: ["服务ip地址自定义其他", "boot"]json.keys_under_root: true- type: logenabled: truepaths:- /java/*.logfields:AppId: "live-admin"ENV: "DEV"fields_under_root: truetags: ["服务ip地址自定义其他", "live"]json.keys_under_root: trueprocessors:- timestamp:field: "time"timezone: "Asia/Shanghai"layouts:- "yyyy-MM-dd HH:mm:ss.SSS"output.elasticsearch:hosts: 'es:9200'username: "elastic"password: "elastic"indices:- index: "spring-boot-admin-%{+yyyy.MM}"when.contains:tags: "boot"- index: "live-admin-%{+yyyy.MM}"when.contains:tags: "live"setup.template.settings:index.number_of_shards: 3index.number_of_replicas: 0
日志输入源：
- 使用 filebeat.inputs
部分定义了两个日志输入源。每个输入源监视不同路径下的日志文件，并根据路径指定的类型和字段进行处理。其中，第一个输入源监视
/var/log/.log 路径下的日志文件，用于收集 Spring Boot Admin 应用的日志；第二个输入源监视
/java/.log 路径下的日志文件，用于收集 Live Admin 应用的日志。
日志标签：
- 在每个输入源的 tags
配置中，使用了一组自定义的标签。这些标签通常用于标识日志的来源或类型。在这个配置中，每个输入源都定义了自己的标签，以便后续根据标签将日志发送到不同的索引中。
Elasticsearch 输出：
- 在 output.elasticsearch 部分指定了 Elasticsearch
的地址和认证信息，并配置了索引的模板。根据不同的标签，将日志发送到不同的索引中。在这个配置中，根据标签 “boot” 将 Spring
Boot Admin 的日志发送到名为 spring-boot-admin-%{+yyyy.MM} 的索引中，根据标签 “live” 将
Live Admin 的日志发送到名为 live-admin-%{+yyyy.MM} 的索引中。
Elasticsearch 索引设置：
- 在 setup.template.settings 部分配置了 Elasticsearch
索引的一些设置，包括分片数和副本数。这些设置可以优化 Elasticsearch 索引的性能和可用性。
删除之前的容器：
docker rm -f filebeat
再重启启动：
docker run --name=filebeat --restart=always \-v /data/elk7/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /var/log/springboot/:/var/log/springboot/ \
-v /data/log/live-admin/logs/:/var/log/live-admin/logs/ \
-d elastic/filebeat:7.5.1
排查问题命令
docker logs filebeat
进入容器：
docker exec -it filebeat /bin/bashdocker exec -it filebeat /bin/sh
nginx的日志采集
如果要采集nginx的日志的话需要设置nginx日志格式
#修改nginx.conf，在http 、https中设置日志格式
#添加 log_format main
user nginx;
worker_processes auto;error_log /var/log/nginx/error.log notice;
pid /var/run/nginx.pid;worker_rlimit_nofile 10240;
events {worker_connections 10240;
}http {include /etc/nginx/mime.types;default_type application/octet-stream;server_tokens off;proxy_hide_header X-Powered-By;proxy_hide_header Server;log_format main '$remote_addr - $remote_user [$time_local] "$request" ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent" "$http_x_forwarded_for"';access_log /var/log/nginx/access.log main;sendfile on;#tcp_nopush on;proxy_connect_timeout 30000;keepalive_timeout 30000;client_max_body_size 100m;client_header_buffer_size 512k;large_client_header_buffers 4 512k;#gzip on;include /etc/nginx/conf.d/*.conf;
}在**filebeat.inputs:**新增一个log
- type: logenabled: truepaths:- /var/log/nginx/access.logfields:AppId: "nginx"ENV: "DEV"fields_under_root: truetags: ["ip","nginx"]json.keys_under_root: true
在**indices:**下新增一个index
- index: "nginx-%{+yyyy.MM}"when.contains:tags: "nginx"
设置命令行中执行 Nginx 相关的命令时不输入完整路径
export PATH=/usr/sbin:/usr/local/nginx/sbin:$PATH
- /usr/sbin 目录通常包含系统管理和维护的命令，例如一些系统管理工具和服务程序的启动脚本等。
- /usr/local/nginx/sbin 目录包含了 Nginx 服务器的可执行文件，包括启动 Nginx 的命令 nginx。
通过将这两个目录添加到 PATH 中，可以方便地在命令行中直接执行 nginx 命令来启动或管理 Nginx 服务器，而不必输入完整的路径。
再次删除容器重新启动，把nginx日志也挂在上去
docker run --name=filebeat --restart=always \
-v /data/elk7/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
-v /var/log/springboot/:/var/log/springboot/ \
-v /data/log/live-admin/logs/:/var/log/live-admin/logs/ \
-v /var/log/nginx/:/var/log/nginx/ \
-d elastic/filebeat:7.5.1