当前位置: 首页 > news >正文

大数据面试题之Elasticsearch:每日三题(六)

大数据面试题之Elasticsearch:每日三题

  • 1. 为什么要使用Elasticsearch?
  • 2.Elasticsearch的master选举流程?
  • 3.Elasticsearch集群脑裂问题?

在这里插入图片描述

1. 为什么要使用Elasticsearch?

系统中的数据,随着业务的发展,时间的推移,将会非常多,而业务中往往采用模糊查询进行数据的搜索,而模糊查询会导致查询引擎放弃索引,导致系统查询数据时都是全表扫描,在百万级别的数据库中,查询效率是非常低下的,而我们使用ES做一个全文索引,将经常查询的系统功能的某些字段,比如说电商系统的商品表中的商品名,描述,价格还有id这些字段我们放入ES索引库里,可以提高查询速度。

2.Elasticsearch的master选举流程?

  • Elasticsearch的选主是ZenDiscovery模块负责的,主要包含Ping(节点之间通过这个RPC来发现彼此)和Unicast(单播模块包含一个主机列表以控制哪些节点需要ping通)这两部分
  • 对所有可以成为master的节点(node.master:true)根据nodeId字典排序,每次选举每个节点都把自己所知道节点排一次序,然后选出第一个(第0位)节点,暂且认为它是master节点。
  • 如果对某个节点的投票数达到一定的值(可以成为master节点数n/2+1)并且该节点自己也选举自己,那这个节点就是master。否则重新选举一直到满足上述条件。
  • master节点的职责主要包括集群,节点和索引的管理,不负责文档级别的管理;data节点可以关闭http功能。

3.Elasticsearch集群脑裂问题?

"脑裂"问题可能的成因:

  • 网络问题:集群间的网络延迟导致一些节点访问不到master,认为master挂掉了从而选举出新的master,并对master上的分片和副本标红,分配新的主分片
  • 节点负载:主节点的角色既为master又为data,访问量较大时可能会导致ES停止响应造成大面积延迟,此时其他节点得不到主节点的响应认为主节点挂掉了,会重新选取主节点。
  • 内存回收:data节点上的ES进程占用的内存较大,引发JVM的大规模内存回收,造成ES进程失去响应。

脑裂问题解决方案:

  • 减少误判:discovery.zen.ping_timeout节点状态的响应时间,默认为3s,可以适当调大,如果master在响应时间的范围内没有做出响应应答,判断该节点已经挂掉了。调大参数(如6s,discovery.zen.ping_timeout:6),可适当减少误判。
  • 选举触发:discovery.zen.minimum_master_nodes:1
    该参数是用于控制选举行为发生的最小集群主节点数量。当备选主节点的个数大于等于该参数的值,且备选主节点中有该参数个节点认为主节点挂了,进行选举。官方建议为(n/2)+1,n为主节点个数(即有资格成为主节点的节点个数)
  • 角色分离:即master节点与data节点分离,限制角色
    主节点配置为:node.master:true node.data:false
    从节点配置为:node.master:false node.data:true

在这里插入图片描述

http://www.lryc.cn/news/103347.html

相关文章:

  • 【管理设计篇】聊聊分布式配置中心
  • 远程控制平台简介
  • 韦东山Linux驱动入门实验班(5)LED驱动---驱动分层和分离,平台总线模型
  • 【雕爷学编程】MicroPython动手做(02)——尝试搭建K210开发板的IDE环境
  • C#——Thread与Task的差异比较及使用环境
  • 刷题 31-35
  • 【mysql】—— 数据类型详解
  • kafka常用命令
  • 数字图像处理(番外)图像增强
  • flutter:轮播
  • 高忆管理:股票投资策略是什么?有哪些?
  • 为公网SSH远程Ubuntu配置固定的公网TCP端口地址主图
  • 【前端知识】React 基础巩固(四十一)——手动路由跳转、参数传递及路由配置
  • Qt几种字符类型的相互转换
  • 软件测试员的非技术必备技能
  • 渗透测试:Linux提权精讲(二)之sudo方法第二期
  • ansible安装lnmp(集中式)
  • Tomcat的基本使用,如何用Maven创建Web项目、开发完成部署的Web项目
  • 微信小程序测试要点
  • TCP网络通信编程之netstat
  • Stable Diffusion:网页版 体验 / AI 绘图
  • 一文了解JavaScript 与 TypeScript的区别
  • 从更广阔的角度看待产业互联网,它展现的是一次重构的过程
  • 【PHP】简记问题:使用strtotime(‘-1 month‘, time)获取上个月第一天时间戳出错
  • 舌体分割的初步展示应用——依托Streamlit搭建demo
  • 从Vue层面 - 解析发布订阅模式和观察者模式区别
  • 面向对象之_多态_1
  • Spring学习笔记之spring概述
  • 旧项目导入Eclipse时文件夹看起来乱七八糟,无从下手的解决办法(无main或webapp等文件夹)
  • Reinforcement Learning with Code 【Code 2. Tabular Sarsa】