当前位置：首页 > news >正文

搭建ES集群

news 2025/7/17 2:21:20

前言

搭建ES集群

集群状态监控

分片备份

节点角色

脑裂问题

分布式存储

分布式查询

故障转移

前言

单机的ES做数据存储必然会面临两个问题：海量数据存储问题、单机故障问题

海量数据存储问题：将索引库从逻辑上拆分为N个分片(shard)，存储到多个节点。

单机故障问题：将分片数据在不同节点备份(replica)

搭建ES集群

在Docker中部署三个ES节点。请确保虚拟机存在至少4G运行内存。

下面是docker-compose文件的内容

version: '2.2'
services:es01:image: elasticsearch:7.12.1container_name: es01environment:- node.name=es01- cluster.name=es-docker-cluster- discovery.seed_hosts=es02,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data01:/usr/share/elasticsearch/dataports:- 9200:9200networks:- elastices02:image: elasticsearch:7.12.1container_name: es02environment:- node.name=es02- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data02:/usr/share/elasticsearch/dataports:- 9201:9200networks:- elastices03:image: elasticsearch:7.12.1container_name: es03environment:- node.name=es03- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es02- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data03:/usr/share/elasticsearch/datanetworks:- elasticports:- 9202:9200
volumes:data01:driver: localdata02:driver: localdata03:driver: localnetworks:elastic:driver: bridge

修改虚拟机配置

vi /etc/sysctl.conf
vm.max_map_count = 262144
#max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量

保存后刷新配置文件

sysctl -p

使用docker-compose启动三个容器

docker-compose up -d

集群状态监控

处理在浏览器访问9200、9201、9202端口外，还能使用一种ES集群可视化工具Cerebro。我们选择win版本的可视化工具。

下载地址为：Tags · lmenezes/cerebro (github.com)

启动时如果报错加载缓存错误，更换JDK版本即可。在cerebro.bat文件中添加如下代码

双击启动运行图如下

访问9000端口。

输入集群其中一个节点即可连接整个集群。节点名称前面的星号实心代表是主节点，空心代表是候选节点。

分片备份

可以使用Kibana或Cerebro来实现。

如果使用Kibana实现分片，那么在创建索引库时指定

PUT /索引库名
{"settings":{"number_of_shards":3, //分片数量"number_of_replicas":1//副本数量
},"mappings":{}
}

使用Cerebro时，则如下图所示

创建完成后

节点角色

节点类型	配置参数	默认值	节点职责
master eligible	node.master	true	备选主节点：主节点可以管理和记录集群状态，决定分片在哪个节点，处理创建和删除索引库的请求
data	node.data	true	数据节点：存储数据，搜索、聚合、CRUD
ingest	node.ingest	true	数据存储之前的预处理
coordinating	上面3个参数都为false则为coordinating节点	无	协调节点：路由请求到其他节点，合并其他节点处理的结果，返回给用户