当前位置： 首页 > news >正文

什么是RAG检索生成增强？

news 2025/6/30 7:41:20

概述

工作流程

1、文档收集和切割

  • 文档收集：从网页、PDF、数据库等各种来源收集原始文档。
  • 文档预处理：清洗、标准化文本格式。
  • 文档切割：将海量文档分割成适当大小的片段，可基于固定大小、语义边界、递归分割策略。
    • 就像把厚重词典拆解成单词卡片
    • 📌 关键价值：优质的知识切割如同图书馆分类系统，决定了后续检索效率
  • 清洗数据：删除HTML标签、特殊符号，修正错误文本
  • 保留来源：记录每块内容的出处，便于后续引用和验证

2、向量转换和存储

  • 翻译成数字：将文字转换为数字向量，让机器能"理解"含义
  • 向量转换：使用Embedding模型将文本块转换为高维向量表示，以捕获文本的语义特征。
  • 向量存储：将生成的向量和对应文本存入向量数据库，支持高效的相似性搜索。

3、文档过滤和检索

  • 查询处理：将用户问题转换为向量表示，计算用户问题与存储文档片段的相似度
  • 过滤机制：基于元数据、关键词或自定义规则进行过滤。
  • 相似度搜索：在向量数据库中查找与问题向量最相似的文档块，常用算法有余弦相似度、欧氏距离等。
  • 精细排序：对初步结果进行二次筛选，把最相关的放在前面
  • 智能筛选：根据问题背景过滤不相关结果
  • 上下文组装：将检索到的多个文档块组装成连贯上下文。

4、查询增强和关联

  • 提示词组装：将检索到的相关文档与用户问题组合成增强提示。
  • 上下文融合：大模型基于增强提示生成回答。
  • 源引用：在回答中添加信息来源引用。
  • 后处理：格式化、摘要或其他处理以优化最终输出。
  • 理解问题：分析用户真正想知道什么
  • 改进问题：自动调整查询，使其更容易找到相关信息
  • 组合信息：将查询和检索到的文档巧妙结合
  • 事实回答：让AI基于找到的真实信息生成回答，避免编造
相关技术
  • Embedding：将数据转为语义向量，维度越高语义越细、存储越大。
  • 向量数据库：专存向量，高效查相似(Pinecone，Milvus)，分专用 / 扩展型（PGVector，Redis-Stack）。
  • 召回：初筛粗相关候选，速度广度：如捕鱼 大范围撒网~
  • 精排：对匹配到的数据进行优劣排序，末段细排序，用 Rank 模型 结合多特征打分，。
  • 混合检索：各大厂商匹配技术，关键词 + 向量检索，调权重。
  • 核心：检索补外部知识，生成更准，解大模型时效与幻觉。

文档加载

将知识库按照主题分类组织，便于管理和后续检索
在这里插入图片描述
利用 SpringAI tika + markdown 解决大部分文件~

  1. DocumentReader：读取文档（如PDF，TXT，SON），得到文档列表
  2. DocumentTransformer：转换文档，拆分、加摘要、提关键词，得到处理后的文档列表
  3. DocumentWriter：存文档，将文档列表保存到存储中
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-markdown-document-reader</artifactId><version>1.0.0-M6</version>
</dependency><dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-tika-document-reader</artifactId><version>1.0.0-M6</version>
</dependency>

编写文档加载器

import lombok.extern.slf4j.Slf4j;
import org.springframework.ai.document.Document;
import org.springframework.ai.reader.markdown.MarkdownDocumentReader;
import org.springframework.ai.reader.markdown.config.MarkdownDocumentReaderConfig;
import org.springframework.beans.factory.annotation.Qualifier;
import org.springframework.core.io.Resource;
import org.springframework.core.io.support.ResourcePatternResolver;
import org.springframework.stereotype.Component;import java.io.IOException;
import java.util.*;/*** 智能健康助手文档加载器*/
@Component
@Slf4j
public class HealthAppDocumentLoader {private final ResourcePatternResolver resourcePatternResolver;// 定义文件名关键词到类别的映射private static final Map<String, String> CATEGORY_MAP = new HashMap<>();static {CATEGORY_MAP.put("医院", "医疗机构");CATEGORY_MAP.put("科室", "医疗机构");CATEGORY_MAP.put("口腔科", "医疗机构");CATEGORY_MAP.put("神经内科", "医疗机构");CATEGORY_MAP.put("儿科", "医疗机构");CATEGORY_MAP.put("心血管内科", "医疗机构");CATEGORY_MAP.put("健康食物", "饮食");CATEGORY_MAP.put("高蛋白食物", "饮食");CATEGORY_MAP.put("高纤维蔬菜", "饮食");CATEGORY_MAP.put("低糖食物", "饮食");CATEGORY_MAP.put("健康早餐搭配", "饮食");CATEGORY_MAP.put("糖尿病饮食建议", "饮食");CATEGORY_MAP.put("饮食计划模板", "饮食");CATEGORY_MAP.put("热量估算指南", "营养");CATEGORY_MAP.put("维生素来源", "营养");CATEGORY_MAP.put("热量摄入推荐", "营养");CATEGORY_MAP.put("营养素需求表", "营养");CATEGORY_MAP.put("BMI计算指南", "健康知识");CATEGORY_MAP.put("血压管理常识", "健康知识");CATEGORY_MAP.put("睡眠质量提升", "健康知识");CATEGORY_MAP.put("运动健康指南", "健康知识");}public HealthAppDocumentLoader(@Qualifier("webApplicationContext") ResourcePatternResolver resourcePatternResolver) {this.resourcePatternResolver = resourcePatternResolver;}/*** 加载所有 Markdown 文档并转换为 Document 对象* @return 所有文档列表*/public List<Document> loadMarkdowns() {List<Document> allDocuments = new ArrayList<>();try {Resource[] resources = resourcePatternResolver.getResources("classpath:document/**/*.md");for (Resource resource : resources) {String filename = resource.getFilename();if (filename == null || !filename.endsWith(".md")) continue;String baseName = filename.substring(0, filename.length() - 3); // 去掉 .md 后缀// 根据文件名中的关键词，从 CATEGORY_MAP 中查找匹配的文档类别String category = CATEGORY_MAP.entrySet().stream().filter(entry -> baseName.contains(entry.getKey())).map(Map.Entry::getValue).findFirst().orElse("通用");// 创建 Markdown 解析配置对象// 构建配置MarkdownDocumentReaderConfig config = MarkdownDocumentReaderConfig.builder().withHorizontalRuleCreateDocument(true).withIncludeCodeBlock(false).withIncludeBlockquote(false)//元数据字段.withAdditionalMetadata("filename", filename)  //添加文件名.withAdditionalMetadata("category", category)  //添加分类.build();MarkdownDocumentReader reader = new MarkdownDocumentReader(resource, config);allDocuments.addAll(reader.get());}} catch (IOException e) {log.error("Markdown 文档加载失败", e);}return allDocuments;  //返回所有解析完成的文档列表}
}

假设有如下文件：

文件名提取的 category
北京协和医院.md医疗机构
高蛋白食物.md饮食
BMI计算指南.md健康知识
热量估算指南.md营养
我的自定义文档.md通用

这样就能在每个 Document 中添加合适的分类元数据，供后续用于推荐、过滤、搜索等场景。

向量存储

将上述解析得到的知识库document列表存入向量数据库

不建议在生产中使用基于内存的向量存储。因此这里我们使用PostgreSQL的插件PGVetor作为向量数据库。

环境配置
<!-- PGVector 向量存储 -->
<dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-jdbc</artifactId>
</dependency>
<dependency><groupId>org.postgresql</groupId><artifactId>postgresql</artifactId><scope>runtime</scope>
</dependency>
<dependency><groupId>org.springframework.ai</groupId><artifactId>spring-ai-pgvector-store</artifactId><version>1.0.0-M6</version>
</dependency>

@Configuration
public class PgVectorVectorStoreConfig {@Resourceprivate HealthAppDocumentLoader healthAppDocumentLoader;@Bean@Primary// todo 按需使用加载public VectorStore pgVectorVectorStore(@Qualifier("postgresJdbcTemplate") JdbcTemplate jdbcTemplate, EmbeddingModel dashscopeEmbeddingModel) {// 创建PgVectorStore实例，配置向量存储的参数VectorStore vectorStore = PgVectorStore.builder(jdbcTemplate, dashscopeEmbeddingModel).dimensions(1536)                    // 设置向量的维度，可选，默认为模型维度或1536.distanceType(COSINE_DISTANCE)       // 设置计算向量间距离的方法，可选，默认为余弦距离.indexType(HNSW)                     // 设置索引类型，可选，默认为HNSW（高效近似最近邻搜索）.initializeSchema(true)              // 是否初始化数据库模式，可选，默认为false.schemaName("public")                // 设置数据库模式名称，可选，默认为"public".vectorTableName("vector_store")     // 设置存储向量数据的表名，可选，默认为"vector_store".maxDocumentBatchSize(10000)         // 设置文档批量插入的最大数量，可选，默认为10000.build();// 加载文档List<Document> documents = healthAppDocumentLoader.loadMarkdowns();int batchSize = 25;for (int i = 0; i < documents.size(); i += batchSize) {int end = Math.min(i + batchSize, documents.size());List<Document> batch = documents.subList(i, end);vectorStore.add(batch); // 分批插入}return vectorStore;}
}

修改yml文件

spring:datasource:mysql:url: jdbc:mysql://localhost:3306/your_mysql_db?useSSL=false&serverTimezone=UTCusername: rootpassword: your_passworddriver-class-name: com.mysql.cj.jdbc.Driverpostgres:url: jdbc:postgresql://localhost:5432/your_postgres_dbusername: postgrespassword: your_passworddriver-class-name: org.postgresql.Driver

文档过滤和检索

a. 预检索：优化用户查询

  • 改写查询：用 AI 让模糊的问题更清晰RewriteQueryTransformer
  • 翻译查询：将非目标语言翻译成模型支持的语言TranslationQueryTransformer
  • 压缩查询：结合对话历史，生成简洁查询CompressionQueryTransformer
  • 扩展查询：生成多个变体，提高召回率MultiQueryExpander

b. 检索：查找相关文档

  • 使用 DocumentRetriever 从向量库中搜索最相关的文档

  • 支持设置：

    • 相似度阈值 .similarityThreshold(0.7)
    • 返回数量 .topK(5)
    • 元数据过滤 .filterExpression(...)

  • 使用 ChatModel（如 dashscopeChatModel）驱动的 RewriteQueryTransformer，将用户输入（如 “怎么治高血压”）改写为更精准的医学术语（如 “高血压的标准治疗方案”）

/*** 查询重写器*/
@Component
public class QueryRewriter {private final QueryTransformer queryTransformer;public QueryRewriter(ChatModel dashscopeChatModel) {ChatClient.Builder builder = ChatClient.builder(dashscopeChatModel);// 创建查询重写转换器queryTransformer = RewriteQueryTransformer.builder().chatClientBuilder(builder).build();}/*** 执行查询重写** @param prompt* @return*/public String doQueryRewrite(String prompt) {Query query = new Query(prompt);// 执行查询重写Query transformedQuery = queryTransformer.transform(query);// 输出重写后的查询return transformedQuery.text();}
}

查询增强和关联

a. 查询增强目标：

  • 提高用户查询质量
  • 增加检索命中率
  • 提供上下文，辅助 AI 生成更准确回答

b. 核心组件：

ⅰ. QuestionAnswerAdvisor

  • 将用户问题 + 检索到的文档拼成新 Prompt，发给 AI。
  • 支持设置：
  • 相似度阈值 .similarityThreshold()
  • 返回数量 .topK()
  • 动态过滤条件 .FILTER_EXPRESSION
  • 可自定义提示词模板。

ⅱ. RetrievalAugmentationAdvisor

  • 更灵活、模块化的 RAG 实现方式。
  • 支持组合使用：
  • 文档检索器 .documentRetriever(...)
  • 查询转换器（如改写、翻译）.queryTransformers(...)
  • 上下文增强器 .queryAugmenter(...)

ⅲ. 空上下文处理：ContextualQueryAugmenter

  • 默认不允许空上下文（无文档时不让回答）
  • 可通过 .allowEmptyContext(true) 允许 AI 自由作答
  • 支持自定义提示词模板，包括：
  • 正常情况 .promptTemplate(...)
  • 无文档时 .emptyContextPromptTemplate(...)（如友好提示）

  • 示例

  1. 用户输入：“我最近经常失眠，怎么办？”
  2. QueryRewriter重写为：“最近经常失眠，有哪些有效的改善方法？”
  3. RAG 从 vector store 中检索出与“失眠”相关的医学建议文档
  4. 结合上下文、记忆和检索内容生成最终回答

编写单元测试代码，故意提问一个文档内有回答的问题

http://www.lryc.cn/news/576786.html

相关文章：

  • #Redis分布式缓存# ——1.Redis持久化
  • 零基础学习RabbitMQ(5)--工作模式（1）
  • 非常有科技感的wpf GroupBox 控件
  • C/C++数据结构之动态数组
  • 介绍Windows下的由Sysinternals开发的一些小工具
  • 鸿蒙 Swiper 组件解析：轮播交互与动画效果全指南
  • [Android]ANR的线程
  • promise深入理解和使用
  • Bugku——WEB篇（持续更新ing）
  • 【windows如何使用rsync支持断点续传】
  • OSPF(开放最短路径优先)
  • 【记录】服务器多用户共享Conda环境——Ubuntu24.04
  • Windows环境下C语言汇编语言编辑器及环境安装
  • 提升JavaScript性能的六大关键策略
  • 博图SCL编程利器：CASE OF 语句详解与应用指南之设备运行模式选择框架
  • [面试] 手写题-数组转树
  • VS2022-动静态库
  • (LeetCode 面试经典 150 题 ) 134. 加油站 (贪心)
  • MATLAB GUI界面设计 第七章——高级应用
  • 大数据Hadoop之——安装部署hadoop
  • Wpf布局之StackPanel！
  • 【Java EE初阶 --- 多线程（进阶）】锁策略
  • Git常见使用
  • 现代 JavaScript (ES6+) 入门到实战（四）：数组的革命 map/filter/reduce - 告别 for 循环
  • 【记录】Ubuntu创建新用户,并可远程连接
  • 【大语言模型入门】—— 浅析LLM基座—Transformer原理
  • 自然语言处理NLP期末复习
  • 解锁云原生微服务架构：搭建与部署实战全攻略
  • 小米路由器 AX3000T自定义子网掩码
  • 大模型小模型选型手册：开源闭源、国内国外全方位对比