让我们面对现实——传统的RAG相当愚蠢。返回的回答无法保证相关性。了解自我RAG如何大幅帮助
大型语言模型(LLMs)正在为各行各业带来革命。以金融行业为例，LLMs可用于查阅大量文件并在极短时间内找到趋势，成本仅为分析师执行同一任务的一小部分。但问题在于，你得到的答案通常只是部分和不完整的。例如，假设你有一份包含公司X过去15年年度收入的文件，但信息分散在不同部分。在下面所示的传统的检索增强生成(RAG)架构中，通常会检索前k个文档，或选择固定长度内的文档。
然而，这种做法可能存在几个问题。一个问题是前k个文档可能并不包含所有答案——例如可能仅对应过去5或10年。另一个问题是文档片段和提示之间的相似度计算并不总是产生相关的上下文。在这种情况下，你可能得到一个错误的答案。
真正的问题是，当你将原始的RAG应用程序展示给利益相关者并且他们提出一些非常规问题时，它无法正常工作。
这就是自我RAG的用武之地！作者们巧妙地为微调的语言模型(Llama2–7B和13B)开发了一种方法，使其在生成的文本中附加特殊标记[检索]、[没有检索]、[相关]、[不相关]、[不支持/矛盾]、[部分支持]、[效用]等来确定上下文是否相关/不相关，生成的文本是否受到上下文的支持，以及生成的效用。