RAG进阶笔记：RAG进阶
1 查询/索引部分
1.1 层次索引
- 创建两个索引——一个由摘要组成，另一个由文档块组成
- 分两步进行搜索：首先通过摘要过滤出相关文档，接着只在这个相关群体内进行搜索
1.2 假设性问题
- 让LLM为每个块生成一个假设性问题，并将这些问题以向量形式嵌入
- 在运行时，针对这个问题向量的索引进行查询搜索（用问题向量替换文档的块向量）
- 检索后将原始文本块作为上下文发送给LLM以获取答案
- 这种方法由于查询和假设性问题之间的语义相似性更高，从而提高了搜索质量
1.3 句子窗口检索
- 文档中的每个句子都被单独嵌入向量
- 在检索到的关键句子前后各扩展k个句子，然后将这个扩展的上下文发送给LLM
1.4 父文档检索器（自动合并检索器）
- 文档被分割成一个层级化的块结构，随后用最小的叶子块进行索引
- 在检索过程中检索出top k个叶子块
- 如果存在n个叶子块都指向同一个更大的父块，那么我们就用这个父块来替换这些子块，并将其送入大模型用于生成答案。
1.4 查询扩展
1.4.1 使用生成的答案进行查询扩展
Precise Zero-Shot Dense Retrieval without Relevance Labels
- 给定输入查询后，这种方法首先会指示 LLM 提供一个假设答案，无论其正确性如何
- 然后，将查询和生成的答案合并在一个提示中，并发送给检索系统
- 基本目的是希望检索到更像答案的文档。
- 假设答案的正确性并不重要，因为感兴趣的是它的结构和表述
1.3.2 用多个相关问题扩展查询
Query Expansion by Prompting Large Language Models
- 利用 LLM 生成 N 个与原始查询相关的问题
- 将所有问题（加上原始查询）发送给检索系统。
- 通过这种方法，可以从向量库中检索到更多文档。
参考内容：
提升RAG检索质量的三个高级技巧（查询扩展、交叉编码器重排序和嵌入适配器）