日志收集Day001
1.ElasticSearch
作用：日志存储和检索
2.单点部署Elasticsearch与基础配置
rpm -ivh elasticsearch-7.17.5-x86_64.rpm
查看配置文件yy /etc/elasticsearch/elasticsearch.yml（这里yy做了别名，过滤掉空行和注释行）
yy /etc/elasticsearch/elasticsearch.yml，结果如下
path.data: /var/lib/elasticsearch 数据所在位置
path.logs: /var/log/elasticsearch 日志所在位置
修改配置yy /etc/elasticsearch/elasticsearch.yml，加入：
network.host: 0.0.0.0
discovery.seed_hosts: ["10.0.0.101"]
启动：systemctl enable --now elasticsearch.service
3.集群部署
1.将安装包分发到各个节点
scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.103:~
scp -r elasticsearch-7.17.5-x86_64.rpm 10.0.0.102:~
2.各个节点安装Elasticsearch
rpm -ivh elasticsearch-7.17.5-x86_64.rpm
3.单点部署的节点数据清空
systemctl stop elasticsearch.service
rm -rf /var/lib/elasticsearch/* /var/log/elasticsearch/* /tmp/*
4.修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
...
# 指定ES集群的名称
cluster.name: lxc
# ES服务监听对外暴露服务的地址
network.host: 0.0.0.0
# 指定ES集群的节点IP
discovery.seed_hosts: ["10.0.0.101","10.0.0.102","10.0.0.103"]
# 指定参与master选举的节点
cluster.initial_master_nodes: ["10.0.0.101","10.0.0.102","10.0.0.103"]
5.分发配置文件
scp /etc/elasticsearch/elasticsearch.yml 10.0.0.103:/etc/elasticsearch/
scp /etc/elasticsearch/elasticsearch.yml 10.0.0.102:/etc/elasticsearch/
6.所有节点启动elasticsearch
systemctl enable --now elasticsearch
7.验证ES集群节点是否正常工作
curl 10.0.0.102:9200/_cat/nodes
带星号为主节点
4.使用oraclejdk管理es服务
解压JDK软件包
tar xf jdk-8u291-linux-x64.tar.gz -C /sortwares/
配置系统环境变量
vim /etc/profile.d/jdk.sh
#!/bin/bash
export JAVA_HOME=/sortwares/jdk1.8.0_291
export PATH=$PATH:$JAVA_HOME/bin
加载环境变量
source /etc/profile.d/jdk.sh
systemd启动脚本配置系统环境变量
vim /usr/lib/systemd/system/elasticsearch.service
Environment=ES_JAVA_HOME=/sortwares/jdk1.8.0_291
重新加载systemd
systemctl daemon-reload
重新启动es
systemctl restart elasticsearch.service
5.修改es环境的堆内存
vim /etc/elasticsearch/jvm.options
添加：
-Xms256m
-Xmx256m
重新启动之后
jmap -heap `ps -ef|grep elastic|grep jdk1.8.0_291|awk '{print $2}'`|grep MaxHeapSize
说明修改成功
6.二进制部署elasticsearch-6.8.23
原先服务器上已经有了一套rpm部署的es7，现在使用二进制部署在原先基础上增加一套集群
1.所有节点准备目录：
useradd lxc
install -d /lxc/{data,logs,softwares}/es6 -o lxc -g lxc
chown -R lxc:lxc /lxc
2.所有节点解压elasticsearch-6.8.23.tar.gz
tar xf elasticsearch-6.8.23.tar.gz -C /lxc/softwares/es6/
chown -R lxc:lxc /lxc
3.elk101节点修改配置文件
vim /lxc/softwares/es6/elasticsearch-6.8.23/config/elasticsearch.yml
cluster.name: lxc-es6
node.name: elk101.lxcedu.com
path.data: /lxc/data/es6
path.logs: /lxc/logs/es6
network.host: 0.0.0.0
http.port: 19200
transport.tcp.port: 19300
discovery.zen.ping.unicast.hosts: ["elk101.lxcedu.com","elk102.lxcedu.com","elk103.lxcedu.com"]
discovery.zen.minimum_master_nodes: 2
注意其他节点也需要修改，区别是node.name不一样，并且各个节点需要做好hosts解析。
5.elk101节点修改堆内存大小
vim /lxc/softwares/es6/elasticsearch-6.8.23/config/jvm.options
-Xms256m
-Xmx256m
其他节点也需要修改
6.elk101编写启动脚本
vim /usr/lib/systemd/system/es6.service
[Unit]
Description=es6
After=network.target[Service]
Type=simple
Environment=JAVA_HOME=/sortwares/jdk1.8.0_291
ExecStart=/lxc/softwares/es6/elasticsearch-6.8.23/bin/elasticsearch
User=lxc
LimitNOFILE=131070[Install]
WantedBy=multi-user.target
注意：其他节点也需要修改配置文件，JAVA_HOME地址需要写对，这里使用的是oraclejdk部署的地址。
7.启动服务
systemctl daemon-reload && systemctl enable --now es6
8.查看服务状态
curl 10.0.0.101:19200/_cat/nodes