搜索引擎onesearch3实现解释和升级到Elasticsearch v8系列(一)-概述
简介
此前的专栏介绍onesearch1.0和2.0，详情参看4 参考资料，本文解释onesearch 3.0，从Elasticsearch6升级到Elasticsearch8代码实现 ，Elasticsearch8 废弃了high rest client，使用新的ElasticsearchClient，本文重点介绍ElasticsearchClient如何实现onesearch的特性，同时解释onesearch代码实现细节。
ElasticsearchClient使用起来3个特点，
- Builder，核心对象通过builder构建
- Lambda构建，builder支持使用lambda
- 强类型和容器，如，聚合，每个类型构建和取值，同时提供容器，可放入不同聚合，为用户提供抽象处理
特性
v1.0 schema管理，0代码agg，通用表达式映射引擎，抽象搜索引擎
v2.0
1) 分布式文件索引
2) 增强装配映射引擎
full text查询映射策略
match/match_phrase/query_string/。。。
返回字段，使用source field
nested
3) springboot starter
4) 搜索权限，搜出就能看到
5) suggester
v3.0 elasticsearch 6 升级到 8，client更换为ElasticsearchClient
术语
- 文档 Document
elasticsearch 一行数据称为文档，需要注意与文件/文档区分，有冲突的地方用“ES文档”区分
- 索引schema
相当于关系数据库的schema，xml格式，定义索引的字段，类型，还有搜索策略，分词等搜索相关属性
- 搜索/过滤
elasticsearch查询(query)分两部分，搜索和过滤，搜索计算文档与搜索词相似(匹配)度，得出分数排序，分数越高相似度越高，排序也靠前；过滤相当于sql的where，结果是true或者false
- 分词
索引可以设定是否分词，分词器分割文本或字符串成term，适用模糊搜索；反之，使用term查询
- 查询对象装配映射
查询的装配映射是onesearch的特性，elasticsearch es dsl 查询功能非常丰富，可调参数多, 提供精准细致的搜索调整，但也很难用，更难复用，onesearch设计装配映射组件支持通用表达式转换esdsl，用户只需编写通用表达式，如，((f1=‘a’or f2=’b’) and f3=‘c’)) 即可实现搜索过滤，类似elasticsearch自身也提供了sql查询功能，大大降低开发难度，同时具备高复用性
参考资料
https://blog.csdn.net/szlhj/category_11563011.html onesearch 1.0/2.0
架构
- schema模块，定义索引字段，索引策略，搜索策略等，管理索引及其搜索特性
- 聚合搜索(agg)模块，基于schema模块，支持xml定义agg，零编码增加agg主题
- 查询模块，负责构建通用表达式(如，((f1=‘a’or f2=’b’) and f3=‘c’))，作为搜索输入条件代替esdsl
- 装配映射引擎，映射通用表达式为最优的es dsl，支持=，!=，like，in，range，prefix，not/and/or，大小括号，点(.)等操作符映射，解决es dsl难使用，难复用的痛点
- 抽象搜索引擎接口，无缝接入不同的搜索引擎，如，elasticsearch，solrcloud等，更可同时使用多种引擎
- 同步，全量同步/增量同步，使用分布式dataX
*geo api 未实现
工程结构-引擎部分
上一章架构介绍 本文解释elasticsearch v8 client开发，下图介绍一下引擎部分，服务和api部分不深入介绍
adapter-api 抽象的搜索引擎接口，主要有索引服务，搜索服务，文档服务
adapter-elasticsearch elasticsearch实现
引擎层之上是服务层，服务层不依赖具体引擎，因此可以适配不同的搜索引擎，甚至可以同时使用不同的搜索引擎
elasticsearch升级
本章开始介绍elasticsearch升级， onesearch改造，分4部分，
1) 索引， 构建索引，put mapping，put nested mapping，alias，删除索引
2) 文档，文档构建和写入，nested，批量
3) 搜索，query，filter，nested，高亮，分页，排序，搜索结果
4) 聚合，agg查询，agg构建(bucket类型和metrics类型), 聚合结果
还有suggester，目前没有使用，本次升级未有涉及