当前位置: 首页 > news >正文

5 索引的操作

1. 滚动索引

接上回索引别名

当一个索引数据量太大时,如果继续写入数据可能会导致分片容量过大,查询时会因内存不足引起集群崩溃。
为了避免所有的数据都写入同一个索引,可以考虑使用滚动索引。

滚动索引需要配合索引别名一起使用,可实现把原先写入一个索引的数据自动分发到多个索引中。
例如: 先创建一个索引log1,并给定别名logs-all。

PUT /logs1
{"aliases": {"logs-all": {}}
}
{"acknowledged" : true,"shards_acknowledged" : true,"index" : "logs1"
}

然后使用别名往logs1中写入数据。

PUT logs-all/_doc/1?refresh
{"visittime":"10:00:00","keywords":"[世界杯]","rank":18,"clicknum":13,"id":10001,"userid":"2982199073774412","key":"10001"
}
{"_index" : "logs1","_type" : "_doc","_id" : "1","_version" : 1,"result" : "created","forced_refresh" : true,"_shards" : {"total" : 2,"successful" : 1,"failed" : 0},"_seq_no" : 0,"_primary_term" : 1
}
PUT logs-all/_doc/2?refresh
{"visittime":"11:00:00","keywords":"[杯]","rank":20,"clicknum":12,"id":1121,"userid":"2982199073774412","key":"2"
}
{"_index" : "logs1","_type" : "_doc","_id" : "2","_version" : 1,"result" : "created","forced_refresh" : true,"_shards" : {"total" : 2,"successful" : 1,"failed" : 0},"_seq_no" : 1,"_primary_term" : 1
}

现在来为别名logs-all指定一个滚动索引,如果条件成立,就把新数据写入logg2.

POST logs-all/_rollover/log2
{"conditions": {"max_age": "7d","max_docs": 1,"max_size": "5gb"}
}
{"acknowledged" : true,"shards_acknowledged" : true,"old_index" : "logs1","new_index" : "log2","rolled_over" : true,"dry_run" : false,"conditions" : {"[max_docs: 1]" : true,"[max_size: 5gb]" : false,"[max_age: 7d]" : false}
}

解释:上面的滚动索引配置的条件是,如果往别名logs-all中写入的索引数据量大于等于1,或者主分片总大小超过5GB,或者创建索引的时间长度超过7天,就把新的数据写入新索引log2。该请求会返回滚动索引的执行结果。

从请求返回的结果可以看出,此时max_docs条件已经成立,一个新的索引log2已经创建出来了,此时别名logs-all已经指向了log2,log1的别名已经被删除。因此,如果继续往别名logs-all中写数据,数据会被写入log2。

以此类推,如果log2的数据太多,可以继续使用滚动索引把新数据写入索引log3。可以指定一个有规律的名称,例如log-000001,那么每次使用滚动索引时,新的索引会自动生成名称,在前一个的尾数上直接++。

2 索引的状态管理

elasticsearch为开发人员提供了一组API用于对索引的状态进行管理,包括:清空缓存,刷新索引,冲洗索引,强制合并,关闭索引,冻结索引。

2.1 清空缓存

elasticsearch之所以能够成为高性能的搜索引擎是因为它拥有强大的缓存机制,可将很多数据直接放在内存中,可以大大提升查询速度。

分为3种缓存类型:

1.节点的查询缓存
2.分片的请求缓存和字段数据加缓存
3.fieldata是一种缓存于内存种的数据结构,它是一个文档主键指向每个字段数据的映射。类似于关系型数据库的表结构。每个字段的数据缓存在fielddata中用于高性能的排序和聚集统计。

清空字段数据缓存

POST /logs/_cache/clear?fielddata=true
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

清空节点的查询缓存

POST /logs/_cache/clear?query=true
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

清空分片的请求缓存

POST /logs/_cache/clear?request=true
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

如果想清空索引的全部缓存可以直接把参数去掉

POST /logs/_cache/clear
{"_shards" : {"total" : 4,"successful" : 2,"failed" : 0}
}

如果要清空所有的索引缓存【慎用】

POST /_cache/clear
2.2 刷新索引

当外部数据写入索引时,数据并不会直接提交到磁盘上,因为提交数据的过程成本太大,会按照一定的流程将数据周期性地提交到磁盘上进行持久化。
在这里插入图片描述

http://www.lryc.cn/news/622925.html

相关文章:

  • 强化学习入门教程(附学习文档)
  • 我的世界Java版1.21.4的Fabric模组开发教程(十九)自定义生物群系
  • 小迪安全v2023学习笔记(六十三讲)—— JS加密断点调试
  • 【图论】分层图 / 拆点
  • 什么是模型预测控制?
  • Windows MCP.Net:革命性的 .NET Windows 桌面自动化 MCP 服务器
  • 【C++学习篇】:基础
  • ZKmall开源商城的数据校验之道:用规范守护业务基石
  • 中本聪思想与Web3的困境:从理论到现实的跨越
  • PyTorch生成式人工智能——使用MusicGen生成音乐
  • 新手向:Python异常处理(try-except-finally)详解
  • JVM垃圾回收器
  • 学习日志35 python
  • Python:如何在Pycharm中显示geemap地图?
  • 基于深度学习的老照片修复系统
  • k8sday08深入控制器(3/3)
  • Docker小游戏 | 使用Docker部署人生重开模拟器
  • K8S的ingress
  • 玩转云原生,使用k9s管理k8s集群和k3s集群
  • 如何在 MacOS 上安装 SQL Server
  • VS Code配置MinGW64编译ALGLIB库
  • 水分含量低、残留物少且紫外光谱纯净的生物溶剂推荐
  • python学习DAY43打卡
  • VScode 使用遇到的问题
  • 北京JAVA基础面试30天打卡11
  • MQ迁移方案
  • Linux软件编程:进程与线程(线程的传参、属性、通信(互斥锁、信号量))
  • 嵌入式硬件篇---电容本质
  • 【图像算法 - 15】智能行李识别新高度:基于YOLO12实例分割与OpenCV的精准检测(附完整代码)
  • Redis-plus-plus 安装指南