Text2SQL之Vanna优化

前言

前阵子写了篇Text2SQL的简单介绍，发现其也是RAG只会，写下了Text2SQL之不装了，我也是RAG

最近也一直在做Text2SQL的优化，于是把自己的一些心得，总结于这篇文章。

一、优化方向

既然本质是RAG，那顺着RAG的优化方向走，准没错。

• 文档增强：
  • 对文档进行摘要：先对摘要进行检索，如果有必要，才深入文档细节
  • 对文档进行QA生成：同时检索文档和生成的QA
  • 数据清洗，去除文档中存在的特殊字符或不相关信息
• 元数据过滤：例如对query和文档分类，对应类别的query只查找对应类别的文档，能有效提升检索效率和召回率
• 混合检索：语义检索 + 关键词检索
• query改写：让LLM对query改写，在嵌入空间中，看似相同的两个问题并不一定很相似
  • 同义词替换：例如，将“LLM”、“大语言模型”和“大模型”标准化为通用术语。
  • 缩写替换
• query分解：将复杂query分解成多个子问题，逐个进行匹配，然后汇总文档，生成答案
• HyDE: 用LLM直接生成query的回答，将生成的答案与query 拼接，再进行RAG
• 文档分块优化：
  • 内容重叠分块&