当前位置：首页 > news >正文

Milvus - 内存索引类型详解

news 2025/6/25 2:36:00

1. 背景概述

在大规模数据处理和向量相似性搜索场景中，内存索引的使用显著提升了查询速度和效率。Milvus 提供了多种内存索引类型，以满足不同场景下的性能需求。本文将介绍 Milvus 支持的各种内存索引类型及其适用场景、配置参数和使用方法。

2. 为什么选择内存索引？

内存索引可以有效组织数据，从而提升查询性能。在 Milvus 中，每个向量字段（Field）可以选择一种适合的索引类型，以优化特定查询的速度。Milvus 支持的索引类型主要基于近似最近邻搜索（ANNS）算法，通过允许一定精度的牺牲来实现快速搜索，从而加速大规模数据集上的查询。

3. Milvus 支持的索引类型概览及其使用

Milvus 支持多种索引类型，不同索引在性能、精确度和内存需求方面有所不同。以下内容展示每种索引的使用场景、配置参数及示例代码。

1. FLAT 索引

适用场景：数据集较小且对搜索精度要求极高。
特点：进行穷举搜索，不对数据进行压缩，保证 100% 的召回率和精确性。
配置与使用：无需配置额外参数，直接创建即可。

# 配置索引参数
index_params = {"metric_type": "L2", "index_type": "FLAT"}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)

2. IVF_FLAT 索引

适用场景：需要较高的召回率和快速查询的场景。
特点：将向量数据划分为多个聚类单元，通过调节 nprobe 在召回率与查询速度之间找到平衡。
配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "IVF_FLAT","params": {"nlist": 128}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"nprobe": 16}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

3. IVF_SQ8 索引

适用场景：内存资源有限，允许轻微的召回率下降。
特点：标量量化（SQ）将每个浮点数（4 字节）压缩为 1 字节，减少内存占用。
配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "IVF_SQ8","params": {"nlist": 128}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"nprobe": 8}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

4. IVF_PQ 索引

适用场景：内存资源有限，允许较大召回率下降，适合极高速查询。
特点：结合 IVF 和 PQ（乘积量化），进一步压缩数据存储需求。
配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "IVF_PQ","params": {"nlist": 128,"m": 4,  # 量化因子数"nbits": 8}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"nprobe": 8}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

5. SCANN 索引

适用场景：高精度、高查询速率的场景，适合内存资源较为充足的场景。
特点：与 IVF_PQ 类似，但利用 SIMD 提升计算效率。
配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "SCANN","params": {"nlist": 128,"reorder_k": 64}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 执行搜索
results = collection.search(data=query_vectors, anns_field="embedding", limit=top_K)

6. HNSW 索引

适用场景：高精度和快速查询，适合内存资源充足的场景。
特点：HNSW 使用多层结构的导航小世界图（NSW）进行搜索。
配置与使用：

# 配置索引参数
index_params = {"metric_type": "L2","index_type": "HNSW","params": {"M": 16,"efConstruction": 200}
}# 创建索引
collection.create_index(field_name="embedding", index_params=index_params)# 配置搜索参数
search_params = {"params": {"ef": 64}
}
results = collection.search(data=query_vectors, anns_field="embedding", param=search_params, limit=top_K)

4. 索引的配置与选择

在选择索引时，需要综合考虑数据规模、查询速度需求、硬件资源等因素。以下是对常用索引的总结：

索引类型	适用场景	精确度	查询速度	内存需求
FLAT	小数据集，需 100% 召回	高	慢	高
IVF_FLAT	大数据集，需较高召回	中	快	中
IVF_SQ8	内存有限，可接受轻微精度损失	中	快	低
IVF_PQ	内存有限，可接受较大精度损失	低	极快	极低
SCANN	高精度，内存充足	高	极快	高
HNSW	高精度，内存充足	高	极快	高