Elasticsearch index 设置 false，为什么还可以被检索到？
在 Elasticsearch 中，mapping 定义了索引中的字段类型及其处理方式。
近期有球友提问，为什么设置了 index: false 的字段仍能被检索。
本文将详细探讨这个问题，并引入列式存储的概念，帮助大家更好地理解 Elasticsearch 的存储和查询机制。
1、问题描述
我们创建了一个名为 my-index-000001 的索引，并为其添加了一个名为 employee-id 的字段，该字段的 index 属性被设置为 false。
按理说，这个字段不应该被索引，也不应能被检索，但在执行查询时，却能检索到该字段。这是为什么呢？
PUT /my-index-000001
{"mappings": {"properties": {"employee-id": {"type": "keyword","index": false}}}
}POST /my-index-000001/_doc/1
{"employee-id": "1111"
}POST /my-index-000001/_search
{"query": {"term": {"employee-id": "1111"}}
}问题来源：https://t.zsxq.com/GuwKP
2、原因分析
在 Elasticsearch 中，index 选项控制字段值是否被索引。
默认情况下，所有字段都是被索引的 (index: true)。当 index 设置为 false 时，字段不会被索引，因此不能通过常规查询方法高效地检索该字段。
https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-index.html
然而，对于某些特定类型的字段，即使设置了 index: false，它们仍然可以通过 doc_values 进行查询。
这其实就是咱们的问题所在！
这些特定字段类型包括：
数值类型（Numeric types）
日期类型（Date types）
布尔类型（Boolean type）
IP 类型（IP type）
地理点类型（Geo_point type）
关键字类型（Keyword type）
对于这些类型的字段，即使 index 设置为 false，只要 doc_values 启用，它们仍然可以被查询。
查询效率会较低，因为需要对整个索引进行全扫描（full scan）。
3、列式存储概述
列式存储（Columnar Storage）是指将每个字段的数据独立存储，这种存储方式不同于传统的行式存储。
在数据仓库和大数据处理系统中，列式存储优化了读取和分析操作。
以下是一些常见的列式存储格式及其应用：
Parquet：广泛用于 Apache Hadoop 生态系统中的数据处理，提供高效的存储和压缩。
ORC（Optimized Row Columnar）：主要用于 Apache Hive 和 Hadoop 生态系统，提供优化的列存储格式。
Cassandra：分布式数据库系统，采用行和列的混合存储方式，支持列级别的高效查询。
列式存储 VS 行式存储
在 Elasticsearch 中，doc_values 是一种列式存储机制，用于存储字段的数据，以支持高效的排序和聚合操作。
这里就是明显区别于“倒排索引”的一种正排索引技术，详细解读参见《一本书讲透 Elasticsearch》P97-P98。
Doc values 是指在文档索引时创建的存储在磁盘数据结构，它们以列式存储的方式保存与 _source 相同的数据，从而大大提高了排序和聚合操作的效率。除文本 text 和带注释的文本（annotated_text ，新类型）字段外，几乎所有字段类型都支持 doc values。
https://www.elastic.co/guide/en/elasticsearch/reference/current/doc-values.html
3.1 列式存储示例：词组数据举例
假设我们有以下文档集合，这些文档包含多个字段，包括 employee-id 雇员 id 序号和 address 地址信息：
[{"employee-id": "1111", "name": "Alice", "age": 30, "address": "123 Main St, Springfield, IL"},{"employee-id": "1112", "name": "Bob", "age": 25, "address": "456 Elm St, Springfield, IL"},{"employee-id": "1113", "name": "Charlie", "age": 35, "address": "789 Oak St, Springfield, IL"}
]列式存储如下图所示：
当这些文档被索引到 Elasticsearch 中时，启用了 doc_values 的字段会以列式存储的方式独立存储。
假设我们为 employee-id、address 字段启用了 doc_values，其存储结构如下：
employee-id 列存储：
"1111"
"1112"
"1113"address 列存储：
"123 Main St, Springfield, IL"
"456 Elm St, Springfield, IL"
"789 Oak St, Springfield, IL"3.2 列式存储查询行为
回到开篇问题，在这种情况下，如果我们对 employee-id 进行查询：
POST /my-index/_search
{"profile": true, "query": {"term": {"employee-id": "1111"}}
}由于 employee-id 字段启用了 doc_values，但没有被索引，Elasticsearch 会使用基于 doc_values 的查询机制来处理。
这个查询会遍历 employee-id 列的数据，找到匹配 "1111" 的文档。
这里就分析出了 index:false, 依然可以被检索的原因。
再进一步验证，
PUT /my-index-0606
{"mappings": {"properties": {"employee-id": {"type": "keyword","doc_values": true},"name": {"type": "text"},"age": {"type": "integer","doc_values": true},"address": {"type": "keyword","index":false}}}
}POST /my-index-0606/_bulk
{ "index": { "_id": "1" } }
{ "employee-id": "1111", "name": "Alice", "age": 30, "address": "123 Main St, Springfield, IL" }
{ "index": { "_id": "2" } }
{ "employee-id": "1112", "name": "Bob", "age": 25, "address": "456 Elm St, Springfield, IL" }
{ "index": { "_id": "3" } }
{ "employee-id": "1113", "name": "Charlie", "age": 35, "address": "789 Oak St, Springfield, IL" }POST my-index-0606/_search
{"query": {"term": {"address": "123 Main St, Springfield, IL"}}
}得到结果如下：
这就是基于正排索引做的轮询的结果。
3.3 列式存储的优势和劣势
优势：
列式存储使得对特定字段的聚合和排序操作更加高效，因为只需要读取相关列的数据，而不是整个文档的所有字段。
举例说明，假设我们有一个包含员工信息的索引（在之前基础上新增了字段），文档结构如下：
[{"employee-id": "1111", "name": "Alice", "age": 30, "salary": 5000, "address": "123 Main St, Springfield, IL"},{"employee-id": "1112", "name": "Bob", "age": 25, "salary": 6000, "address": "456 Elm St, Springfield, IL"},{"employee-id": "1113", "name": "Charlie", "age": 35, "salary": 7000, "address": "789 Oak St, Springfield, IL"}
]如果行式存储：读取每个文档时，所有字段数据都被加载，即使我们只关心其中一个字段的数据。
行式存储举例——计算平均薪资时，整个文档（包括 name、age、address 等）都要被读取。如下图所示：
读取整行信息，有点类似 MySQL 如下操作：
SELECT * FROM employees WHERE employee-id = '1111';返回结果：
{"employee-id": "1111", "name": "Alice", "age": 30, "salary": 5000, "address": "123 Main St, Springfield, IL"}如果列式存储：只读取特定字段的数据。
列式存储举例——计算平均薪资时，只需读取 salary 列的数据即可，避免了读取无关字段的数据。如下图所示。
列式存储读取一列数据，有点类似 MySQL如下操作：
SELECT age FROM employees;返回结果：
[30, 25, 35]劣势：对于未被索引的字段，查询效率较低，因为需要遍历整个列的数据来匹配查询条件。
4、结论
通过这些示例，我们可以更清楚地理解 Elasticsearch 中列式存储和 doc_values 的应用。
列式存储使得对特定字段的聚合和排序操作更加高效，但对于未被索引的字段，查询效率较低，因为需要遍历整个列的数据来匹配查询条件。
希望这些解释能帮助你更好地理解 Elasticsearch 的存储和查询机制。
如果你对字段的查询和聚合有特定需求，合理使用 index 和 doc_values 设置可以大大提升性能和效率。
新时代写作与互动：《一本书讲透 Elasticsearch》读者群的创新之路
更短时间更快习得更多干货！
和全球超2000+ Elastic 爱好者一起精进！
elastic6.cn——ElasticStack进阶助手
比同事抢先一步学习进阶干货！