当前位置: 首页 > news >正文

Does a vector database maintain pre-vector chunked data for RAG systems?

题意:一个向量数据库是否为RAG系统维护预向量化分块数据?

问题背景:

I believe that when using an LLM with a Retrieval-Augmented Generation (RAG) approach, the results retrieved from a vector search must ultimately be presented in text form. Otherwise, the prompt would just contain a series of numbers (vectors), which would be meaningless. I assume that the pre-vector chunked data needs to be stored somewhere within the vector database. Is this usually maintained within the vector database itself?

我相信,当使用带有检索增强生成(RAG)方法的大型语言模型(LLM)时,从向量搜索中检索到的结果最终必须以文本形式呈现。否则,提示将仅包含一系列数字(即向量),这将毫无意义。我假设预向量化分块的数据需要存储在向量数据库中的某个位置。这通常是存储在向量数据库本身内部的吗?

问题解决:

In a RAG system, the vector database stores only numbers that represent the text, not the text itself. The actual text is kept in a different place. When you search for something, the system uses these numbers to find the relevant text and then presents it to you.

在RAG系统中,向量数据库仅存储代表文本的数字,而非文本本身。实际的文本被保存在不同的位置。当你搜索某些内容时,系统使用这些数字来找到相关的文本,然后将其呈现给你。

In a typical RAG system, the vector database does not maintain the pre-vector chunked data. Instead, the vector database stores only the vector representations of the text data. The pre-vector chunked data, which includes the original text passages or documents, is usually stored separately in another database or data source. When a retrieval is performed using vectors, the system retrieves the corresponding pre-vector chunked data from this separate source based on the vectors retrieved from the vector database.

在典型的RAG系统中,向量数据库并不维护预向量化分块的数据。相反,向量数据库仅存储文本数据的向量表示。预向量化分块的数据,包括原始文本段落或文档,通常被单独存储在另一个数据库或数据源中。当使用向量进行检索时,系统会基于从向量数据库中检索到的向量,从这个单独的源中检索相应的预向量化分块数据。

http://www.lryc.cn/news/387958.html

相关文章:

  • Rust-11-错误处理
  • 自动化测试:使用Postman进行接口测试与脚本编写
  • ONLYOFFICE 8.1 桌面编辑器测评:引领数字化办公新潮流
  • 基于大语言模型LangChain框架:知识库问答系统实践
  • 解锁Transformer的鲁棒性:深入分析与实践指南
  • mybatis#号和$区别
  • AI绘画 Stable Diffusion【实战进阶】:图片的创成式填充,竖图秒变横屏壁纸!想怎么扩就怎么扩!
  • Linux内核 -- 汇编结合ko案例之PMU获取cpu cycle技术
  • 探索 Symfony 框架:工作原理、特点及技术选型
  • 从万里长城防御体系看软件安全体系建设@安全历史03
  • ISO 19110操作要求类中的/req/operation/formal-definition详细解释
  • 豆包大语言模型API调用错误码一览表
  • AI辅助设计:如何通过机器学习革新创意工作流程
  • 轻松解锁电脑强悍性能,4000MHz的玖合星舞 DDR4 内存很能打
  • SpringBoot | 使用jwt令牌实现登录认证,使用Md5加密实现注册
  • Springboot基于Redis的高性能分布式缓存数据库的实现与实例
  • 防止多次点击,vue的按钮上做简易的防抖节流处理
  • 云计算【第一阶段(21)】Linux引导过程与服务控制
  • Google 发布最新开放大语言模型 Gemma 2,现已登陆 Hugging Face Hub
  • 智能分析赋能等保:大数据技术在安全审计记录中的应用
  • Django中,update_or_create()
  • 每日一学(1)
  • SpringMVC(1)——入门程序+流程分析
  • 成绩发布背后:老师的无奈与痛点
  • MySQL 索引之外的相关查询优化总结
  • EE trade:贵金属投资的优点及缺点
  • python工作目录与文件目录
  • 可信和可解释的大语言模型推理-RoG
  • 秋招季的策略与行动指南:提前布局,高效备战,精准出击
  • Java并发编程-wait与notify详解及案例实战