当前位置: 首页 > news >正文

ElasticSearch查询优化routing

如果一个索引分片多达一百,再加上每个分片数据量大的情况下ES查询速度会慢,这种情况可以根据业务情况考虑使用_routing优化。

_routing 路由

当索引一个文档的时候,文档会被存储在一个主分片上。在存储时一般都会有多个主分片。Elasticsearch 如何知道一个文档应该放置在哪个分片呢?其实ES默认会有一个routing的概念,并根据shard = hash(routing) % number_of_primary_shards 计算决定每个doc应该存储在哪个分片上。

借助_routing进行批量写入优化

ES写入性能本身就不是很强,特别是当用户采用bulk批量写入时,ES默认采用_id作为单个文档写入的routing,路由打散分片。这样一个bulk请求将会被均匀拆分打散为分片数量的子写入请求,发送给每个分片执行写入,协调节点需要等待所有分片写入完毕才会返回给客户端。当分片数过多时,就容易出现长尾子请求,即有可能部分子请求因节点故障或OldGC、网络抖动等延迟响应,导致整个bulk请求响应缓慢而堆积,最终导致节点写入队列打满出现写入拒绝。另一方面,拆分过多的子请求无法提升数据节点写入吞吐,无法充分利用 CPU。

创建索引时指定index.bulk_routing.enabled 参数为true即可实现定向路由。

通过 routing 的方式可以实现一个 bulk 只写入到一个分片,降低网络开销、提升数据节点 CPU 使用率、避免长尾分片影响整个 bulk 请求。

提升查询效率

如果不使用_routing时,执行查询时ElasticSearch内部流程是:

1.请求到达协调节点后,协调节点

http://www.lryc.cn/news/20268.html

相关文章:

  • 【HashMap 1.7和1.8】
  • 【Zabbix实战之故障处理篇】Zabbix监控中文乱码问题解决方法
  • 学习(mianshi)必备-ClickHouse高性能查询/写入和常见注意事项(五)
  • 在Kotlin中探索 Activity Results API 极简的解决方案
  • 样式冲突太多,记一次前端CSS升级
  • 如何解决报考PMP的那些问题?
  • 数据结构栈的经典OJ题【leetcode最小栈问题大剖析】【leetcode有效的括号问题大剖析】
  • 数据结构与算法之打家劫舍(一)动态规划思想
  • 无人驾驶路径规划论文简要
  • C++ sort()函数和priority_queue容器中比较函数的区别
  • STM32开发(14)----CubeMX配置ADC
  • Simple RNN、LSTM、GRU序列模型原理
  • 【原创】java+swing+mysql生肖星座查询系统设计与实现
  • CentOS 环境 OpneSIPS 3.1 版本安装及使用
  • SQL95 从 Products 表中检索所有的产品名称以及对应的销售总数
  • 平时技术积累很少,面试时又会问很多这个难题怎么破?别慌,没事看看这份Java面试指南,解决你的小烦恼!
  • SQL Server 数据库的备份
  • NCNN Conv量化详解1
  • Redis大key多key拆分方案
  • python的类如何使用?兔c同学一篇关于python类的博文概述
  • Day60 动态规划总结
  • UVM仿真环境搭建
  • Azure AI基础到实战(C#2022)-认知服务(1)
  • 光栅化Triangles(笔记)
  • 【Oarcle】如何显示日本年号的日期格式 ?
  • 57_Pandas中的json_normalize将字典列表转换为DataFrame
  • OpenAPI SDK组件之javassist字节码
  • 【LeetCode】1247. 交换字符使得字符串相同(超级简单的算法,击败100%)
  • 23. 合并K个升序链表
  • 软中断与tasklet简介