AB
AiBoss站
百科

什么是纠正性检索增强生成(Corrective Retrieval Augmented Generation)?

纠正性检索增强生成(CRAG)是 arXiv 论文《Corrective Retrieval Augmented Generation》提出的一种方法:用一个轻量级检索评估器判断检索到的文档质量,据此触发不同的知识检索动作,并借助大规模网络搜索与「先分解再重组」算法提升生成鲁棒性。它是即插即用的,可与多种 RAG 方法结合。

纠正性检索增强生成(Corrective Retrieval Augmented Generation,CRAG)是一种在检索增强生成(Retrieval-Augmented Generation,RAG)流程中加入「自我纠错」环节的方法。按该论文的表述,它针对的核心问题是:RAG 的效果高度依赖所检索文档的相关性,一旦检索出错,模型会怎样表现缺乏保障;CRAG 通过评估检索质量并据此采取不同的补救动作,来提高生成的鲁棒性。

换句话说,它不是在检索之后无条件地把文档塞进上下文,而是先判断「这批文档靠不靠谱」,再决定是继续用、丢弃还是去别处补检索。

为什么重要

该论文指出,大型语言模型(Large Language Model,LLM)不可避免地会出现幻觉,因为仅靠模型参数中封存的知识无法保证生成文本的准确性。RAG 被视为对 LLM 的一种可行补充:它把外部文档引入上下文,让生成有据可依。

但论文同时强调,这种做法「严重依赖检索文档的相关性」。这带来两个层面的隐忧:其一,检索器返回的文档可能并不相关,错误信息一旦进入上下文,反而会误导生成;其二,从静态且有限的语料库中检索,本身只能返回次优(sub-optimal)的文档,即使检索器工作正常,可用材料也可能不足。

在 CRAG 出现之前,典型的 RAG 流程是「检索—拼接—生成」的单向管道,中间没有对检索结果质量的判断环节,也没有在检索失败时的回退机制。CRAG 的重要性就在于把这一环节显式化:先评估,再行动,必要时扩大检索范围,并对文档内容做筛选。

工作机制

按论文摘要的描述,CRAG 的核心做法可以拆成三个要点。

一、轻量级检索评估器与置信度

CRAG 设计了一个轻量级检索评估器(lightweight retrieval evaluator),用于评估针对某个查询所检索到的文档的整体质量。评估器返回一个置信度(confidence degree),系统依据这个置信度触发不同的知识检索动作。也就是说,置信度充当了分流的开关:不同质量档位对应不同的后续处理路径,而不是所有情况都走同一套流程。

二、以大规模网络搜索作为扩展

由于从静态、有限的语料库中检索只能得到次优文档,CRAG 把大规模网络搜索(large-scale web searches)用作扩展手段,以增补检索结果。这一设计针对的是「本地知识库覆盖不到」的情形:当评估器判定已有文档不足以支撑回答时,系统可以转向更大范围的检索来源。

三、先分解再重组

CRAG 还设计了一种「先分解再重组」(decompose-then-recompose)算法,作用于检索到的文档:把文档拆解,再重新组合,从而有选择地聚焦其中的关键信息,并过滤掉不相关的内容。这一步解决的是「文档整体相关但内部夹杂噪声」的问题——即使文档被判定为可用,也需要进一步提纯。

四、即插即用的定位

论文称 CRAG 是即插即用(plug-and-play)的,可以与各种基于 RAG 的方法无缝耦合。这意味着它被设计成流程中的一个可替换模块,而不是要求整体重构的独立系统。

典型例子

论文摘要中给出的验证方式是:在覆盖短文本生成与长文本生成任务的四个数据集上进行实验,结果显示 CRAG 能够显著提升基于 RAG 的方法的性能。这是该论文作者报告的结果,属于论文自身的实验结论,而非独立第三方的评测。

从机制上看,可以对应到几类具体场景:当检索评估器给出高置信度时,系统倾向直接利用现有文档;当置信度不理想时,触发网络搜索补充材料;无论哪种情况,文档都要经过分解与重组,剔除无关片段。论文并未在摘要中给出各档置信度对应的具体阈值或动作名称,这些细节需查阅论文正文。

边界与常见误解

首先需要澄清的是,CRAG 不是一个新的检索器,也不是一个新的生成模型。它是在既有 RAG 管道上增加的一层质量控制与补救逻辑,论文明确将其定位为可与多种 RAG 方法耦合的即插即用组件。把它理解为「替代 RAG 的新架构」是一种常见误解。

其次,CRAG 引入的评估器是「轻量级」的,其判断依据是检索文档相对于查询的整体质量,输出的是置信度而非确定的对错判定。因此它降低的是检索出错带来的风险,而不是消除风险;评估器本身的判断也可能不准,这一点论文并未宣称已完全解决。

第三,关于代价。CRAG 在流程中增加了评估步骤,并在需要时调用大规模网络搜索,还额外执行分解与重组算法。这些都是相对朴素 RAG 多出来的计算与调用开销。论文摘要强调的是鲁棒性与性能提升,并未给出开销方面的量化结论,因此不宜据此推断其成本可以忽略。

第四,关于适用范围。论文的实验覆盖短文本与长文本生成任务、共四个数据集,这一范围之外的任务类型(例如高度依赖结构化数据库查询的场景)是否同样受益,摘要中没有涉及。此外,网络搜索作为扩展手段,其可用性与质量取决于外部搜索服务,这属于方法之外的环境依赖。

最后需要强调,本文所述机制与效果均来自该论文作者的表述。CRAG 是 2024 年 1 月提交到 arXiv 的一项研究工作,其结论应被理解为该论文在所述实验设置下的报告,而非已被广泛验证的行业共识。

参考资料