【MongoDB学习笔记2】MongoDB的索引介绍
2 索引
索引支持在MongoDB中高效地执行查询。如果没有索引,MongoDB必须执行全集合扫描,及扫描集合中的每个文档,以选择与查询语句匹配的文档。这种扫描全集合的查询效率是非常低的,特别在处理大量的数据时,查询可以花费几十秒甚至几分钟,这对网站的性能是非常致命的。
如果查询存在适当的索引,MongoDB可以使用该索引限制必须检查的文档数。
索引是特殊的数据结构,它以易于遍历的形式存储集合数据集的一小部分。索引存储特定字段或一组字段的值,按字段值排序。索引项的排序支持有效的相等匹配和机遇范围的查询操作。此外,MongoDB还可以使用索引中的排序返回排序结果。
MongoDB索引使用B树数据结构(确切的说是B-Tree,MySQL是B+Tree)
2.1 索引的类型
2.1.1 单字段索引
MongoDB支持在文档的单个字段上创建用户定义的升序/降序索引,成为单字段索引(single field index)
对于单个字段索引和排序操作,索引键的排序顺序(即升序或降序)并不重要,因为MongoDB可以在任何方向上遍历索引。
2.1.2 复合索引
MongoDB还支持多个字段的用户定义索引,即复合索引(compound index)
复合索引中列出的字段具有重要意义。例如,如果复合索引有{userid:1,score:-1}
组成,则索引首先按userid正序排序,然后在每个userid的值内,再按score倒序排列。
2.1.3 其他索引
- 哈希(Hashed)索引
哈希索引收集并存储索引字段值的哈希值。
哈希索引支持使用哈希分片键分片。基于哈希的分片使用字段的哈希索引作为分片键,在分片集群中对数据分区。
哈希索引非常适合具有像ObjectId值或时间戳这样单调变化字段的分片键。当您使用具有单调递增分片键值的范围分片时,上限为MaxKey的块将接收大多数传入写入。此行为将插入操作限制为单个分片,从而消除了分片集群中分布式写入的优势。
- 地理空间索引
地理空间索引支持对存储为GeoJSON对象或传统坐标对的数据进行查询。您可以使用地理空间索引来提高对地理空间数据的查询性能,或运行某些地理空间查询。
MongoDB提供两种类型的地理空间索引:
- 2dsphere索引,支持解释球体上的几何形状的查询。
- 2d索引,支持在平面上解释几何图形的查询。
- 文本索引
文本索引支持对包含字符串内容的字段进行文本搜索查询。文本索引可提高搜索字符串内容中特定单词或短语时的性能。
一个集合只能有一个文本索引,但该索引可以包含多个字段。
2.2 索引的管理操作
2.2.1 索引的查看
默认的索引
testdb> db.comment.getIndexes()
[ { v: 2, key: { _id: 1 }, name: '_id_' } ]#v: 2 代表版本号
# key: { _id: 1 } 根据_id升序的方式来创建的索引
# name: '_id_' 索引名,通常是键加下划线的方式命名
2.2.2 索引的创建
语法:
db.collection.createIndex(keys, options)
参数 | 类型 | 描述 |
---|---|---|
keys | document | 包含字段和值对的文档,其中字段是索引键,值描述该字段的索引类型。对于字段上的升序索引,使用值1;对于降序索引,使用值-1.另外,MongoDB支持一种不同的索引类型,包括文本、地理空间和哈希索引。 |
options | document | 可选,包含一组控制索引创建的选项的文档 |
部分选项
参数 | 类型 | 描述 |
---|---|---|
background | Boolean | 建索引过程会阻塞其它数据库操作,background可指定以后台方式创建索引,即增加"background"可选参数。"background"默认值为false。 |
unique | Boolean | 建立的索引是否唯一。指定为true创建唯一索引。默认值为false |
name | string | 索引的名称。如果未指定,MongoDB的通过连接索引的字段名和排序顺序生成一个索引名称。 |
dropDups | Boolean | 3.0+版本已废弃。在建立唯一索引时是否删除重复记录,指定 true 创建唯一索引。默认值为false. |
sparse | Boolean | 对文档中不存在的字段数据不启用索引:这个参数需要特别注意,如果设置为true的话,在索引字段中不会查询出不包含对应字段的文档。默认值为false |
expireAfterSeconds | integer | 指定一个以秒为单位的数值,完成TTL设定,设定集合的生存时间 |
v | index version | 索引的版本号。默认的索引版本取决于mongod创建索引时运行的版本。 |
weights | document | 索引权重值,数值在1到99,999之间,表示该索引相对于其他索引字段的得分权重。 |
default_language | string | 对于文本索引,该参数决定了停用词及词干和词器的规则的列表。默认为英语 |
language_override | string | 对于文本索引,该参数制定了包含在文档中的字段名,语言覆盖默认的language,默认值为language |
单字段索引创建
test> db.comment.createIndex({userid:1})
userid_1
test> db.comment.getIndexes()
[{ v: 2, key: { _id: 1 }, name: '_id_' },{ v: 2, key: { userid: 1 }, name: 'userid_1' }
]
复合索引创建
test> db.comment.createIndex({userid:1,nickname:-1})
userid_1_nickname_-1
test> db.comment.getIndexes()
[{ v: 2, key: { _id: 1 }, name: '_id_' },{ v: 2, key: { userid: 1 }, name: 'userid_1' },{v: 2,key: { userid: 1, nickname: -1 },name: 'userid_1_nickname_-1'}
]
2.2.3 索引的移除
移除指定索引
test> db.comment.dropIndex({userid:1})
{ nIndexesWas: 3, ok: 1 }
test> db.comment.getIndexes()
[{ v: 2, key: { _id: 1 }, name: '_id_' },{v: 2,key: { userid: 1, nickname: -1 },name: 'userid_1_nickname_-1'}
]
移除所有的索引
test> db.comment.dropIndexes()
{nIndexesWas: 2,msg: 'non-_id indexes dropped for collection',ok: 1
}
test> db.comment.getIndexes()
[ { v: 2, key: { _id: 1 }, name: '_id_' } ]
2.3 索引的使用
2.3.1 执行计划
分析查询性能通常使用执行计划(解释计划、explain plan)来查看查询的情况,如查询耗费的时间、是否基于索引查询等。
那么,通常我们想知道建立索引是否有效,效果如何,都需要执行计划查看。
语法:
db.collection.find(query,options).explain(options)
在没有使用索引的情况下,数据库在查询的时候是进行全局扫描
testdb> db.comment.find({userid:"1010"}).explain()
{explainVersion: '1',queryPlanner: {namespace: 'testdb.comment',indexFilterSet: false,parsedQuery: { userid: { '$eq': '1010' } },queryHash: 'D1EE2B07',planCacheKey: 'D1EE2B07',maxIndexedOrSolutionsReached: false,maxIndexedAndSolutionsReached: false,maxScansToExplodeReached: false,winningPlan: {stage: 'COLLSCAN', # 集合扫描,也就是全局扫描,没有使用索引filter: { userid: { '$eq': '1010' } },direction: 'forward'},rejectedPlans: []},command: { find: 'comment', filter: { userid: '1010' }, '$db': 'testdb' },serverInfo: {host: 'Rock9',port: 27017,version: '7.0.11',gitVersion: 'f451220f0df2b9dfe073f1521837f8ec5c208a8c'},serverParameters: {internalQueryFacetBufferSizeBytes: 104857600,internalQueryFacetMaxOutputDocSizeBytes: 104857600,internalLookupStageIntermediateDocumentMaxSizeBytes: 104857600,internalDocumentSourceGroupMaxMemoryBytes: 104857600,internalQueryMaxBlockingSortMemoryUsageBytes: 104857600,internalQueryProhibitBlockingMergeOnMongoS: 0,internalQueryMaxAddToSetBytes: 104857600,internalDocumentSourceSetWindowFieldsMaxMemoryBytes: 104857600,internalQueryFrameworkControl: 'trySbeRestricted'},ok: 1
}
创建一个userid的索引后,可以看到变化
testdb> db.comment.createIndex({userid:1})
userid_1
testdb> db.comment.find({userid:"1010"}).explain()
{explainVersion: '1',queryPlanner: {namespace: 'testdb.comment',indexFilterSet: false,parsedQuery: { userid: { '$eq': '1010' } },queryHash: 'D1EE2B07',planCacheKey: '551E0CE9',maxIndexedOrSolutionsReached: false,maxIndexedAndSolutionsReached: false,maxScansToExplodeReached: false,winningPlan: {stage: 'FETCH', # 变成了抓取,而不是全局扫描inputStage: {stage: 'IXSCAN', # 先通过IXSCAN去查询索引userid_1keyPattern: { userid: 1 },indexName: 'userid_1', isMultiKey: false,multiKeyPaths: { userid: [] },isUnique: false,isSparse: false,isPartial: false,indexVersion: 2,direction: 'forward',indexBounds: { userid: [ '["1010", "1010"]' ] }}},rejectedPlans: []},command: { find: 'comment', filter: { userid: '1010' }, '$db': 'testdb' },serverInfo: {host: 'Rock9',port: 27017,version: '7.0.11',gitVersion: 'f451220f0df2b9dfe073f1521837f8ec5c208a8c'},serverParameters: {internalQueryFacetBufferSizeBytes: 104857600,internalQueryFacetMaxOutputDocSizeBytes: 104857600,internalLookupStageIntermediateDocumentMaxSizeBytes: 104857600,internalDocumentSourceGroupMaxMemoryBytes: 104857600,internalQueryMaxBlockingSortMemoryUsageBytes: 104857600,internalQueryProhibitBlockingMergeOnMongoS: 0,internalQueryMaxAddToSetBytes: 104857600,internalDocumentSourceSetWindowFieldsMaxMemoryBytes: 104857600,internalQueryFrameworkControl: 'trySbeRestricted'},ok: 1
}
2.3.2 覆盖的查询
Covered Queries
当查询条件和查询的投影仅包含索引字段时,MongoDB直接从索引返回结果,而不扫描任何稳当或将文档带入内存。这些覆盖的查询可以非常有效。
testdb> db.comment.find({userid:"1010"},{userid:1,_id:0}).explain()
{explainVersion: '1',queryPlanner: {namespace: 'testdb.comment',indexFilterSet: false,parsedQuery: { userid: { '$eq': '1010' } },queryHash: '04379864',planCacheKey: 'E51A9E39',maxIndexedOrSolutionsReached: false,maxIndexedAndSolutionsReached: false,maxScansToExplodeReached: false,winningPlan: {stage: 'PROJECTION_COVERED', # 方法变成coveredtransformBy: { userid: 1, _id: 0 },inputStage: {stage: 'IXSCAN',keyPattern: { userid: 1 },indexName: 'userid_1',isMultiKey: false,multiKeyPaths: { userid: [] },isUnique: false,isSparse: false,isPartial: false,indexVersion: 2,direction: 'forward',indexBounds: { userid: [ '["1010", "1010"]' ] }}},rejectedPlans: []},command: {find: 'comment',filter: { userid: '1010' },projection: { userid: 1, _id: 0 },'$db': 'testdb'},serverInfo: {host: 'Rock9',port: 27017,version: '7.0.11',gitVersion: 'f451220f0df2b9dfe073f1521837f8ec5c208a8c'},serverParameters: {internalQueryFacetBufferSizeBytes: 104857600,internalQueryFacetMaxOutputDocSizeBytes: 104857600,internalLookupStageIntermediateDocumentMaxSizeBytes: 104857600,internalDocumentSourceGroupMaxMemoryBytes: 104857600,internalQueryMaxBlockingSortMemoryUsageBytes: 104857600,internalQueryProhibitBlockingMergeOnMongoS: 0,internalQueryMaxAddToSetBytes: 104857600,internalDocumentSourceSetWindowFieldsMaxMemoryBytes: 104857600,internalQueryFrameworkControl: 'trySbeRestricted'},ok: 1
}