查询所有 match_all 分页查询 from + size 深分页查询 Scroll 指定字段排序 sort 返回指定字段_source
match 短语查询 match_phrase 多字段查询 multi_match query_string 关键词查询 Term 前缀查询 prefix 通配符查询 wildcard 范围查询 range 多 id 查询 ids 模糊查询 fuzzy 高亮 highlight
Query DSL(Domain Specified Language)是利用Rest API传递JSON格式的请求体(RequestBody)与ES进行交互
查询所有 match_all
使用match_all,默认只会返回10条数据 _search
查询默认采用的是分页查询,每页记录数size的默认值为10如果想显示更多数据,指定size
GET /es_db/_search
# 等同于
GET /es_db/_search
{"query":{"match_all":{}}}
分页查询 from + size
返回指定条数size size 关键字: 指定查询结果中返回指定条数。 默认返回值10条 from + size的结果必须小于或等于10000 可以采用scroll api更高效的请求大量数据集
GET /es_db/_search
{"query":{"match_all":{}},"size": 100}
查询结果的窗口的限制可以通过参数index.max_result_window进行设置 index.max_result_window主要用来限制单次查询满足查询条件的结果窗口的 不能简单理解成查询返回给调用方的数据量 窗口大小由from + size共同决定 主要是为了限制内存的消耗 尽管最后我们只取了10条数据返回给客户端,但ES进程执行查询操作的过程中确需要将(1000000 + 10)的记录都加载到内存中 这也是ES中不推荐采用(from + size)方式进行深度分页的原因
PUT /es_db/_settings
{"index.max_result_window":"20000"}
# 修改所有的索引
PUT /_all/_settings
{"index.max_result_window":"20000"}
分页查询 form from 关键字: 用来指定起始返回位置,和size关键字连用可实现分页效果
GET /es_db/_search
{"query":{"match_all":{}},"size":5,"from":0}
深分页查询 Scroll
查询命令中新增 scroll=1m,说明采用游标查询,保持游标查询窗口一分钟
GET /es_db/_search?scroll=1m
{"query":{"match_all":{}},"size":2}
采用游标id查询 多次根据scroll_id游标查询,直到没有数据返回则结束查询 采用游标查询索引全量数据,更安全高效,限制了单次对内存的消耗
GET /_search/scroll
{"scroll":"1m","scroll_id":"FGluY2x1ZGVfY29udGV4dF91dWlkDXF1ZXJ5QW5kRmV0Y2gBFmNwcVdjblRxUzVhZXlicG9HeU02bWcAAAAAAABmzRY2YlV3Z0o5VVNTdWJobkE5Z3MtXzJB"}
指定字段排序 sort
GET /es_db/_search
{"query":{"match_all":{}},"sort":[{"age":"desc"}]}
返回指定字段_source
_source
关键字: 是一个数组,在数组中用来指定展示那些字段
GET /es_db/_search
{"query":{"match_all":{}},"_source":["name","address"]}
match
match在匹配时会对所查找的关键词进行分词,然后按分词匹配查找 query : 指定匹配的值 operator : 匹配条件类型 and : 条件分词后都要匹配 or : 条件分词后有一个匹配即可 (默认) minmum_should_match : 最低匹配度,即条件在倒排索引中最低的匹配度
# 模糊匹配 match 分词后 or 的效果
GET /es_db/_search
{"query":{"match":{"address":"广州白云山公园"}}}
# 分词后 and 的效果
GET /es_db/_search
{"query":{"match":{"address":{"query":"广州白云山公园","operator":"AND"}}}}
当operator参数设置为or时,minnum_should_match参数用来控制匹配的分词的最少数量
# 最少匹配 广州,公园 两个词
GET /es_db/_search
{"query":{"match":{"address":{"query":"广州公园","minimum_should_match":2}}}}
短语查询 match_phrase
match_phrase 查询分析文本并根据分析的文本创建一个短语查询 match_phrase 会将检索关键词分词 match_phrase 的分词结果必须在被检索字段的分词中都包含,而且顺序必须相同,而且默认必须都是连续的
GET /es_db/_search
{"query":{"match_phrase":{"address":"广州白云山"}}}
address 改成”广州白云“可能查不出数据 广州和白云不是相邻的词条,中间会隔一个白云山 而match_phrase匹配的是相邻的词条 可以借助slop参数解决词条间隔的问题 slop参数告诉match_phrase查询词条能够相隔多远时仍然将文档视为匹配
# 广州云山分词后相隔为 2,可以匹配到结果
GET /es_db/_search
{"query":{"match_phrase":{"address":{"query":"广州云山","slop":2}}}}
多字段查询 multi_match
可以根据字段类型,决定是否使用分词查询,得分最高的在前面 字段类型分词,将查询条件分词之后进行查询,如果该字段不分词就会将查询条件作为整体进行查询
GET /es_db/_search
{"query":{"multi_match":{"query":"长沙张龙","fields":["address","name"]}}}
query_string
允许我们在单个查询字符串中指定 AND | OR | NOT 条件,同时也支持多字段搜索 在所有字段中搜索 查询字段分词就将查询条件分词查询,查询字段不分词将查询条件不分词查询 未指定字段查询
GET /es_db/_search
{"query":{"query_string":{"query":"张三 OR 橘子洲"}}}
GET /es_db/_search
{"query":{"query_string":{"default_field":"address","query":"白云山 OR 橘子洲"}}}
GET /es_db/_search
{"query":{"query_string":{"fields":["name","address"],"query":"张三 OR (广州 AND 王五)"}}}
simple_query_string
类似 Query String,但是会忽略错误的语法 同时只支持部分查询语法,不支持 AND OR NOT,会当作字符串处理 支持部分逻辑 默认的 operator 是 OR
GET /es_db/_search
{"query":{"simple_query_string":{"fields":["name","address"],"query":"广州公园","default_operator":"AND"}}}
关键词查询 Term
Term 用来使用关键词查询 (精确匹配),还可以用来查询没有被进行分词的数据类型 Term 是表达语意的最小单位 match 在匹配时会对所查找的关键词进行分词,然后按分词匹配查找 而 term 会直接对关键词进行查找 一般模糊查找的时候,多用 match,而精确查找时可以使用 term 只有 text 类型分词 Term 查询,对输入不做分词 会将输入作为一个整体,在倒排索引中查找准确的词项 并且使用相关度算分公式为每个包含该词项的文档进行相关度算分
GET /es_db/_search
{"query":{"term":{"address":{"value":"广州白云"}}}}
可以通过 Constant Score 将查询转换成一个 Filtering,避免算分,并利用缓存,提高性能 将 Query 转成 Filter,忽略 TF-IDF 计算,避免相关性算分的开销 Filter 可以有效利用缓存
GET /es_db/_search
{"query":{"constant_score":{"filter":{"term":{"address.keyword":"广州白云山公园"}}}}}
结构化搜索
结构化搜索 (Structured search) 是指对结构化数据的搜索 结构化数据 日期,布尔类型和数字都是结构化的 文本也可以是结构化的 如彩色笔可以有离散的颜色集合:红 (red) 、绿 (green)、蓝 (blue) 一个博客可能被标记了标签,例如,分布式 (distributed) 和搜索 (search) 电商网站上的商品都有 UPC (通用产品码 Universal Product Code) 或其他的唯一 它们都需要遵从严格规定的、结构化的格式 应用场景:对 bool,日期,数字,结构化的文本可以利用 term 做精确匹配 term 处理多值字段
前缀查询 prefix
它会对分词后的 term 进行前缀搜索 它不会分析要搜索的字符串,传入的前缀就是想要查找的前缀 默认状态下,前缀查询不做相关度分数计算,它只是将所有匹配的文档返回,然后赋予所有相关分数值为1 它的行为更像是一个过滤器而不是查询 两者实际的区别就是过滤器是可以被缓存的,而前缀查询不行 prefix 的原理:需要遍历所有倒排索引,并比较每个 term 是否已所指定的前缀开头
GET /es_db/_search
{"query":{"prefix":{"address":{"value":"广州"}}}}
通配符查询 wildcard
通配符查询:工作原理和 prefix 相同,只不过它不是只比较开头,它能支持更为复杂的匹配模式
GET /es_db/_search
{"query":{"wildcard":{"address":{"value":"*白*"}}}}
范围查询 range
range 范围关键字 gte 大于等于 lte 小于等于 gt 大于 lt 小于 now 当前时间
POST /es_db/_search
{"query":{"range":{"age":{"gte":25,"lte":28}}}}
GET /product/_search
{"query":{"range":{"date":{"gte":"now‐2y" }}}}
多 id 查询 ids
ids 关键字 : 值为数组类型,用来根据一组 id 获取多个对应的文档
GET /es_db/_search
{"query":{"ids":{"values":[1,2]}}}
模糊查询 fuzzy
使用 fuzziness 属性来进行模糊查询,从而达到搜索有错别字的情形 fuzzy 查询会用到两个很重要的参数,fuzziness,prefix_length fuzziness:表示输入的关键字通过几次操作可以转变成为 ES 库里面的对应 field 的字段 操作是指:新增一个字符,删除一个字符,修改一个字符,每次操作可以记做编辑距离为 1 如中文集团到中威集团编辑距离就是1,只需要修改一个字符 该参数默认值为0,即不开启模糊查询 prefix_length:表示限制输入关键字和ES对应查询field的内容开头的第n个字符必须完全匹配,不允许错别字匹配 如这里等于1,则表示开头的1个字必须匹配,不匹配则不返回 默认值也是0 加大prefix_length的值可以提高效率和准确率 fuzzy 模糊查询 最大模糊错误 必须在0-2之间 搜索关键词长度为 2,不允许存在模糊 搜索关键词长度为3-5,允许1次模糊 搜索关键词长度大于5,允许最大2次模糊
GET /es_db/_search
{"query":{"fuzzy":{"address":{"value":"白运山","fuzziness":1}}}}
高亮 highlight
highlight 关键字:可以让符合条件的文档中的关键词高亮 pre_tags 前缀标签 post_tags 后缀标签 tags_schema 设置为styled可以使用内置高亮样式 require_field_match 多字段高亮需要设置为false
GET /products/_search
{"query":{"term":{"name":{"value":"牛仔"}}},"highlight":{"fields":{"*":{}}}}
自定义高亮 html 标签 可以在 highlight 中使用 pre_tags 和 post_tags 多字段高亮:require_field_match 设置为 false
GET /products/_search
{"query":{"term":{"name":{"value": "牛仔"}}},"highlight":{"post_tags":["</span>"],"pre_tags":["<span style='color:red'>"], # 多字段高亮"require_field_match":"false","fields":{"*":{}}}}