当前位置： 首页 > news >正文

Elasticsearch Kibana (一)

news 2025/6/23 8:43:39

一、官方文档

elasticsearch官网：elasticsearch官网
elasticsearch源码：elasticsearch源码
ik分词器： ik分词器
ik分词器下载：ik分词器下载
elasticsearch 版本选择：elasticsearch 版本选择
官方推荐Elasticsearch和jdk对应关系：官方推荐Elasticsearch和jdk对应关系

在这里插入图片描述
系统当前版本：
在这里插入图片描述
注：如果系统配置 JAVA_HOME，那么使用系统默认的 JDK，如果没有配置使用自带的 JDK，一般建议使用系统配置的 JDK。系统目前使用的jdk版本是：11.0.16.1，elasticsearch-env文件中注明：环境中配置：ES_JAVA_HOME>JAVA_HOME>ES_HOME

二、数据初始化

因为数据量不大，所以初始化方式比较直接，若是数据量大的时候，考虑使用第三方
**Q1：**初始化索引，大数据量时：单条数据操作存储至索引，报错，错误日志如下：org.springframework.dao.DataAccessResourceFailureException: 30,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE]; nested exception is java.lang.RuntimeException: 30,000 milliseconds timeout on connection http-outgoing-0 [ACTIVE] at org.springframework.data.elasticsearch.core.ElasticsearchExceptionTranslator.translateExceptionIfPossible(ElasticsearchExceptionTranslator.java:94)

**W1：**当Elasticsearch需要在每次保存后刷新时，持续保存操作，使其无响应。
官方解释链接：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/indices-refresh.html
文档提示刷新占用大量资源：在这里插入图片描述
问题代码：
每个数据组装后，保存文档，并刷新索引
效果：45w企业数据：2个多小时初始化完成
在这里插入图片描述
方案一：
批量写入，减少线程频繁切换，单次批处理数据写入后刷新一次，减少了刷新频率
目前单次批处理数据为1000条，此数量可以再优化，数据条数一般是根据文档的大小和服务器性能而定的，但是单次批处理的数据逐渐增加，当性能没有提升时，把这个数据量作为最大值。
效果：45w企业数据：40分钟初始化完成
方案二：
关闭刷新（Disable Refresh）是一种可以提高大量写入操作性能的操作。关闭刷新将临时禁止 Elasticsearch 自动刷新索引的操作，从而减少了写入操作时的磁盘IO和刷新操作带来的性能开销。当需要大量写入数据时，关闭刷新可以显著提升索引的写入性能。
GET 索引名称
在这里插入图片描述
默认刷新时间为1s
设置为不自动刷新，但是缓冲区满的时候也会触发refresh操作（例：企业数据达到42万条左右会自动触发刷新）：

PUT /索引名称/_settings
{
"refresh_interval": -1
}

刷新指定index的数据：

POST /索引名称/_refresh

效果：45w企业数据：33分钟初始化完成
在这里插入图片描述
等数据初始化完成后，最后可以通过设置刷新时间的方式重新设置一个合适的刷新时间

三、快照、还原

在Elasticsearch中，快照备份是一种将索引和集群的状态数据保存到可恢复的快照中的机制。通过创建快照，你可以在需要时恢复数据，或在不同的集群之间迁移数据。

方案一：
官网API方式：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/snapshot-restore-apis.html

第一步：
两个单节点环境均在elasticsearch.yml中设置备份路径，路径自定义，两个环境可不同备份路径
环境A：path.repo: /backups/elasticsearch1   
环境B: path.repo: /backups/elasticsearch2 
配置后启动环境A第二步：
在环境A对应的kibana中执行：
测试：
初始化：PUT company_index
POST company_index/_doc/1
{  "name":"小米手机"
}
GET company_index/_doc/1（1）创建快照存储库
PUT /_snapshot/companyku
{"type": "fs","settings": {"location": "/backups/elasticsearch1"}
}
(2)创建快照
PUT /_snapshot/companyku/snapshot_20230717?wait_for_completion=true
{
"indices": "company_index"
}第三步：
把环境A的/backups/elasticsearch1路径下生成的文件内容。直接拷贝到环境B的/backups/elasticsearch2路径下,启动环境B的节点Es
在环境B对应的kibana中执行：
（1）创建快照存储库
PUT /_snapshot/companyku
{"type": "fs","settings": {"location": "/data/backups/elasticsearch2"}
}
（2）还原数据
POST /_snapshot/companyku/snapshot_20230717/_restore
{"indices": "company_index"
}注意：若提示索引已存在，则删除当前已有的索引：DELETE company_index

方案二、Kibana
本地启动kibana，打开网址：http://localhost:5601/app/management/data/snapshot_restore/repositories
Stack Management->Snapshot and Restore
elasticsearch.yml配置：path.repo: /backups/elasticsearch1

  • Repositories注册存储库
  • Policies设置定时任务,最高频：15分钟
  • Snapshot定时任务触发或者手动触发任务，生成快照，在/backups/elasticsearch1路径下
  • 新建一个节点，配置repo，将生成的快照复制到该路径下，启动节点，注册同名存储库，自动出现快照数据，点击恢复，选择对应的索引，即可恢复。
  • 在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    定时任务配置备份频率
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

四、IK分词

目前英文是按单词分词，假设有需要新增分词词语：英文字母分词
ik分词器是把ik下载后放置在下载的es的plugins目录下，
ik增加新的分词：elasticsearch-7.17.6\plugins\ik\config
config下增加新文件：wyd_ik.dic（名称自定义）
wyd_ik.dic文件内容：

a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z

一行就是一个词
在这里插入图片描述
重新启动es。

在这里插入图片描述
看到启动日志打印加载成功
查看效果：

GET _analyze
{"analyzer": "ik_max_word","text": ["WYD", "国企", "1"]
}

在这里插入图片描述

五、 删除索引的已有字段

官方文档：https://www.elastic.co/guide/en/elasticsearch/reference/7.17/docs-reindex.html

PUT m1
{"mappings" : {"properties" : {"_class" : {"type" : "keyword","index" : false,"doc_values" : false},"age" : {"type" : "integer"},"id" : {"type" : "integer"},"name" : {"type" : "text","analyzer" : "ik_max_word"}}},"settings" : {"index" : {"refresh_interval" : "1s","store" : {"type" : "fs"}}}
}POST m1/_doc
{  "id":1, "age":2,  
"name":"小花"
}POST  /m1/_update_by_query
{"script": {"lang": "painless","inline": "ctx._source.remove(\"age\")"},"query": {"match_all": {}}
}GET m1/_searchPUT m2
{"mappings" : {"properties" : {"_class" : {"type" : "keyword","index" : false,"doc_values" : false},"id" : {"type" : "integer"},"name" : {"type" : "text","analyzer" : "ik_max_word"}}},"settings" : {"index" : {"refresh_interval" : "1s","store" : {"type" : "fs"}}}
}POST _reindex
{"source": {"index": "m1"},"dest": {"index": "m2"}
}GET m2/_search

六、代码示例

写了关于elasticsearch常用的方法示例，分组查询、分页查询、高亮查询、新增、修改、删除、地理位置查询等方式
代码示例：https://gitee.com/wyd-mayun/elasticsearch.git
注：
删除大数据量的索引，需要等待一下，若删除后，立即创建同名的索引，无法创建最新的索引，很可能是之前旧的索引结构

http://www.lryc.cn/news/573681.html

相关文章：

  • React纯函数和hooks原理
  • 开发语言本身只是提供了一种解决问题的工具
  • Qt应用中处理Linux信号：实现安全退出的技术指南
  • 对射式红外传感器计次旋转编码器计次
  • 消息队列：基本知识
  • day039-nginx配置补充
  • VSCode性能调优：从卡顿到丝滑的终极方案
  • React 核心原理与Fiber架构
  • java中关于异步转同步的一些解决方案的对比与思考。【spring mvc堵塞式】
  • 【前后前】导入Excel文件闭环模型：Vue3前端上传Excel文件，【Java后端接收、解析、返回数据】，Vue3前端接收展示数据
  • 华为云Flexus+DeepSeek征文｜在Dify-LLM平台中开发童话故事精灵工作流AI Agent
  • 【DDD】——带你领略领域驱动设计的独特魅力
  • C4.5算法深度解析：决策树进化的里程碑
  • 《HTTP权威指南》 第7章 缓存
  • mysql join的原理及过程
  • C++法则10：引用本身是一个“别名”（alias），一旦绑定到一个对象后，就不能再重新绑定到其他对象。
  • 【递归，搜索与回溯算法】记忆化搜索（二）
  • 如何处理RocketMQ的各种线上问题
  • 【Python学习笔记】报错：Unindent amount does not match previous indent
  • Spring Boot 项目初始化
  • AWS 使用图形化界面创建 EKS 集群（零基础教程）
  • LabVIEW图像拼接原理与实现 链接附件有演示录像
  • 如何用AI开发完整的小程序＜9＞—UI自适应与游戏页优化
  • 关于uniapp解析SSE响应数据的处理
  • 【学习笔记】深入理解Java虚拟机学习笔记——第11章 后端编译与优化
  • 关于CH32开发板烧录说明
  • 用可观测工具高效定位和查找设计中深度隐藏的bug
  • webpack+vite前端构建工具 -6从loader本质看各种语言处理 7webpack处理html
  • Linux内核中安全创建套接字：为何inet_create未导出及正确替代方案
  • SAP金属行业解决方案：无锡哲讯科技助力企业数字化转型与高效运营