w wyl123ly 的博客
MD

RAG评估

45 KB 2026.10.18 原文件

RAG评估

定义

RAG 评估指在固定评估集 上,对每个样本分别观测查询 、检索上下文 与回答 ,计算检索指标、上下文指标与生成指标,并把端到端错误归因到检索、上下文组织或生成环节的过程。这三个观测对象称为 Query–Context–Response 三元组。

设评估集含 个样本,第 个样本记为 。符号约定如下。

符号含义
用户查询
评估集,含 个样本
检索返回的片段数,也是 与 Recall@k 的下标;在上下文求和中复用为位置下标
按排名从高到低排列的 个检索片段
上下文中第 个片段
系统生成的回答
标准答案
标准答案按断言拆分后的集合
回答按断言拆分后的集合
与查询相关、应当被检索到的片段集合
第 个片段的相关性标签,
第一个相关片段在排序中的名次,从 1 开始
断言 与片段 的支持得分
支持判定阈值
第 个结果的相关性等级
查询集合

术语定义如下。检索质量指相关片段是否进入前 以及排序是否靠前。上下文相关性指拼入上下文的片段中与问题相关的比例与位置。忠实性(faithfulness)指回答中的断言能由上下文支持的比例。答案相关性(answer relevance)指回答是否直接回应查询所问。断言(claim)指可独立判定真假的陈述,通常由一个谓语结构及其论元构成。难负例(hard negative)指与查询共享大量词面或语义特征、但不包含答案的片段。无答案问题(unanswerable question)指标准答案为“无法回答”的查询。端到端评估只比较最终回答与标准答案。分环节评估分别度量检索与生成。LLM-as-judge 指用另一个语言模型按评分细则判定。校准(calibration)指评审模型的判定与人工判定的一致程度。

为什么重要

RAG 系统有三个可以独立失败的环节:检索没有召回证据、召回的证据被噪声淹没、生成忽略证据或编造内容。端到端正确率只记录“错了”,不记录错在哪一步。没有分环节指标时,一个检索召回率从 0.80 提升到 0.90 的改动,可能因为上下文变长、生成被干扰而表现为端到端下降;也可能因为生成端恰好猜对而被掩盖。两种情况下,单看端到端分数都会做出错误决策。

评估集是唯一能固定比较基准的对象。分块长度、嵌入模型、重排器、提示词、生成模型任一项变化,都会改变输入分布与输出分布。若每次改动都重新抽样评估,指标差异混入了样本差异,无法判断改动是否有效。固定评估集加置信区间,才能把“指标变化”与“抽样波动”分开。

指标定义不一致会直接导致结论反转。RAGAS 的 context precision 是位置加权量,只对相关片段所在的名次求精度均值;工程中常说的“上下文相关率”是相关片段数除以上下文总数。前者在只有一条相关片段且排第一时等于 1,即使其余 条全是噪声;后者此时等于 。两者都叫 precision,数值可以相差数倍。

优化目标之间存在挤压。提高召回通常引入更多噪声,context precision 下降;提高忠实性可以通过多拒答实现,答案相关性随之下降;提高答案相关性可以通过复述查询实现,忠实性不受影响但信息量下降。单一指标无法约束这些方向,评估必须同时报告至少一个检索指标、一个上下文指标与两个生成指标。

成本约束决定了评估的分层。人工评估可以判断引用是否真的支持断言,但每条样本需要分钟级人力;LLM-as-judge 可以覆盖上千条样本,但存在位置偏差与自我偏好,必须用人工标注子集校准。可运行的评估流程是:自动指标高频迭代,人工评估用于验收与校准。

本篇在库中的位置是 RAG原理与流程 的评估环节。流程笔记给出索引、检索、生成三阶段的失效模式,本篇把这些失效模式转成可计算指标;检索侧的改动由 检索优化与重排Rerank 实施,其收益必须用本篇的 Recall@k 与 nDCG@k 度量;分块变化会改变评估单元,参见 RAG文档分块策略;最终的可运行系统与验收流程见 从零实现RAG指南。与 模型评估矩阵 的关系是:那篇讨论模型能力维度的分类评估,本篇讨论系统链路的条件评估。

原理与推导

1 三元组与条件分解

设事件 表示“至少一个包含答案证据的片段进入上下文”,事件 表示“回答正确”。由全概率公式,

对于可回答的问题,证据缺失时忠实系统应当拒答,拒答不计为正确,因此 接近 0。忽略该项得到

该式给出两条可检验的结论。第一,端到端正确率不会超过证据命中率;当每个问题只有一个证据片段时,Recall@k 等于证据命中率,此时 Recall@k 是正确率的上界,而不是与之并列的指标。第二,端到端提升可以来自任一因子,只报告 无法判断提升来自检索还是生成。

分环节指标分别估计两个因子。Recall@k 与 context recall 估计 ,但两者口径不同:前者以片段为单位,后者以标准答案的断言为单位。Faithfulness 与答案正确率估计 ,但前者只判断“是否被上下文支持”,不判断“是否与标准答案一致”。一个回答可以完全忠实于一个不包含正确答案的上下文,此时证据命中事件为真而回答错误, 仍为 0。

条件分解还有一处近似需要说明。 定义为“至少一个证据片段被召回”,而多跳问题需要全部证据片段。设问题需要 个证据片段,各片段被召回的概率独立且等于 ,则全部召回的概率为 。、 时为 0.729。这解释了为什么单跳指标很高的系统在多跳问题上仍然大量失败,也说明评估集必须按跳数分层。

2 上下文指标

context precision@K 衡量相关片段在上下文中的排名质量。定义为

分子只累加相关位置上的 ,分母是前 个位置中相关片段的总数。若 个位置中没有相关片段,分母为 0,该指标无定义;工程上分两种情况处理: 但一条也未召回时记 0, 时从均值中剔除。两种处理必须在报告中写明,否则均值不可比。

取 、相关性标签 ,则 ,,其余位置的 不进入分子,于是

该定义有三个性质。第一,它只对相关位置敏感,噪声片段本身不扣分,噪声的作用是压低后续相关片段的 。第二,若唯一的相关片段排第一,,与 无关,因此它不能回答“上下文有多干净”。第三,若相关片段排在最后, 约为 ,指标对名次高度敏感。需要“干净程度”时,应另报相关片段占比

它与 CP 回答不同的问题,不能互相替代。

context recall 衡量标准答案的断言能否在上下文中找到支持。定义为

其中 是支持得分,可以由 LLM 判定、自然语言推理模型给出,或用词面覆盖近似; 是判定阈值。RAGAS 用 LLM 逐句判断标准答案中的句子能否由上下文归因,判定结果只有支持与不支持两类。该指标的分母是断言数,不是片段数。一条长片段可以覆盖标准答案的全部三条断言,使 CR 等于 1,而该片段只是相关片段之一,片段级 Recall@1 仍可能小于 1;反过来,片段级召回全部命中但每条只覆盖部分断言时,CR 仍可能低于 1。报告时必须写清单位。

CP 与 CR 组合可以区分两类检索问题。CR 低说明证据没有进入上下文,属于召回问题;CR 高而 CP 低说明证据在上下文中但排名靠后或噪声多,属于排序与截断问题。两者的改进手段不同,前者查索引覆盖、查询改写与嵌入模型,后者查分块、重排与上下文预算。

上下文位置还会影响生成,这一点不被 CP 与 CR 捕捉。Liu et al. 的长上下文实验显示,证据位于上下文开头或结尾时模型利用率最高,位于中部时显著下降。两个系统可以有相同的 CP 与 CR,但一个把证据放在首位,另一个放在第 8 位,端到端正确率不同。因此上下文指标应补充“证据名次”这一辅助统计,或按证据位置分层报告。

3 生成指标

faithfulness 衡量回答中的每个断言能否由上下文支持。定义为

其中 表示片段 蕴含断言 。计算分三步:把回答拆成原子断言,对每条断言在上下文中寻找支持句,用支持条数除以断言总数。RAGAS 用 LLM 完成前两步,判定提示要求模型只依据给定上下文,不引入外部知识。

该指标有三个边界。第一,它不需要标准答案,因此可以评估开放域回答,但只能判断“是否有依据”,不能判断“是否正确”。第二,它不惩罚遗漏。回答只复述上下文中一句正确但不完整的话时,该句被支持,,问题其余部分未被回答,指标不受影响,需要答案相关性约束。第三,它对断言拆分敏感。同一段回答拆成两句与拆成四句,支持判定的粒度不同, 会变化。报告时应固定拆分规则与评审模型版本,否则跨版本数值不可比。

answer relevance 衡量回答是否回应查询。RAGAS 的做法是从回答反向生成 个问题,再计算它们与原查询的嵌入余弦均值:

反向生成的依据是:如果回答确实在回答原查询,那么从回答能反推出的问题应当与原查询接近。该指标不检查事实正确性,只检查主题与意图的覆盖。它与忠实性的组合可以区分四类输出。

答案相关性高答案相关性低
忠实性高有依据且切题有依据但回避或答非所问
忠实性低切题但无依据既无依据也不切题

表中左上格仍不保证正确:回答可以有依据、切题,却遗漏关键条件。正确性需要与标准答案比较,或由人工按评分细则判定。四个指标各管一个维度,不能用一个替代另一个。

4 检索指标

Recall@k 定义为相关片段在前 个结果中的比例:

它只关心“有没有”,不关心“排第几”。当每个查询只有一个相关片段时,Recall@k 退化为二值指标, 的选择直接决定数值;报告必须写明 ,并与上下文实际拼入的片段数一致。

MRR(mean reciprocal rank)只记录第一个相关片段的名次:

它适合“只需要一条证据”的问答,不适合需要多条证据的聚合问题。第一个相关片段排第 1 时贡献 1,排第 2 时贡献 0.5,排第 5 时贡献 0.2,尾部惩罚很强。

nDCG@k 使用分级相关性并做理想排序归一化:

其中 是把相关性等级按降序排列后的 DCG,用于把不同查询的得分归一到 。取排序 ,相关性等级 、、,其余为 0,则

理想排序为等级 ,于是 ,。同一组结果上,Recall@5 等于 1,MRR 等于 ,nDCG 等于 0.776。三个指标对“相关但靠后”的敏感方式不同:Recall 完全不敏感,nDCG 按对数折扣降低,MRR 只取第一个相关名次的倒数,名次靠后时下降最快。选择哪个指标取决于下游对名次的敏感程度。

指标需要的标签对名次敏感适合的问题类型
Recall@k二值否召回上限诊断、多证据问题
MRR二值强(只看首个)单证据问答、导航型查询
nDCG@k分级中(对数折扣)排序质量比较、重排评估
context precision二值强(位置加权)上下文组织质量

5 生成侧精确匹配与 F1

精确匹配(exact match, EM)定义为归一化后完全相等的指示函数:

通常做小写化、去除冠词与标点、压缩空白;中文还需要统一全半角。EM 对同义改写与语序变化零容忍,只适合答案形式固定的抽取式问答。

F1 在 token 级计算精确率与召回率:

其中 是 token 序列,中文可按字或按分词器切分。F1 对部分匹配给部分分,适合短答案;对长回答,F1 奖励与标准答案的字面重叠,会低估正确但改写充分的回答,也会高估堆砌关键词的回答。长回答应改用断言级指标或人工评分。

6 LLM-as-judge 的偏差与校准

LLM-as-judge 把评分细则、上下文、回答与输出格式写入提示,让评审模型输出分数或偏好。它降低了单条评估成本,但引入四类系统性偏差。

位置偏差:成对比较时,评审模型偏好先出现的选项。控制方法是对每个样本交换 A/B 顺序各评一次,两次不一致时记为平局或由人工裁决。

长度偏差:更长的回答获得更高分的概率更高,即使信息量相同。控制方法是在评分细则中显式写出“不得因长度加分”,并把长度作为协变量记录。

自我偏好:评审模型偏好与自身生成风格接近的回答,同家族模型之间尤其明显。控制方法是使用与生成模型不同家族的评审模型,或在人工子集上测量偏差方向。

顺从偏差:提示中出现用户立场或预期结论时,评审模型倾向附和。控制方法是评分提示只包含查询、上下文、回答与细则,不包含系统身份、实验分组与预期结果。

校准流程如下。第一步,抽取 100 至 300 条样本做双人标注,标注粒度与自动指标一致。第二步,计算评审模型与人工多数票的一致率,以及 Cohen's :

其中 是观察到的一致率, 是按两类边际分布计算的期望一致率。 消除了随机一致的影响,取值在 0 附近表示与随机相当,1 表示完全一致。经验上 0.4 以下较差,0.4 至 0.6 中等,0.6 至 0.8 较好,0.8 以上很好;这些阈值是约定,不是统计定律。第三步,若 低于阈值,修改评分细则或换评审模型,重新校准。第四步,把评审模型版本、温度、提示词哈希写入报告,否则历史数值不可复现。

评审调用次数需要估算。设样本数 、每条回答平均 条断言、上下文 条、标准答案 条断言、答案相关性反向生成 个问题,则一次完整评估的判定调用约为 次。取 、、、、,约 2800 次调用。这是自动评估的主要成本,也是必须先做小样本校准的原因。

7 端到端评估与分环节评估

端到端评估只比较最终回答与标准答案,或让评审模型对回答整体打分。它直接对应产品目标,是上线门槛的依据。分环节评估分别计算检索、上下文与生成指标,用于定位问题。两者的差异可以列成下表。

维度端到端评估分环节评估
度量对象最终答案的正确性或质量检索命中、上下文组织、生成忠实性
归因能力无,只能定位到样本有,可定位到环节
标注需求标准答案或人工偏好标准答案、证据片段、断言标签
单条成本低高,需要多次判定
被优化的风险低,难以针对单点作弊高,各指标可被单独优化
适用场景验收、版本对比、线上监控迭代、消融实验、失败分析

两种评估可能给出相反结论。检索指标提升但端到端下降的例子是:召回从 3 条增加到 8 条,CR 提升,但上下文变长,证据落在中部,生成利用率下降。端到端提升但分环节下降的例子是:生成模型碰巧答对了更多样本,而检索召回率实际下降,只是被生成端的先验知识掩盖。前者说明分环节指标不能替代端到端,后者说明端到端指标不能替代分环节。两者必须同时报告。

分环节指标还存在“误差抵消”。检索未命中时,生成模型可能凭参数知识答对;上下文含噪声时,模型可能忽略噪声并答对。这类样本在端到端上表现为正确,在分环节上表现为失败。分析时应对“检索失败但答案正确”单独计数,它衡量的是模型参数知识对检索缺陷的掩盖程度,也是系统在领域外问题上的风险来源。

8 自动评估框架的组成与局限

以 RAGAS 为代表的自动评估框架由三部分组成。

第一部分是评估集构造。给定文档集合,框架可以生成问题、标准答案与证据片段:先从文档抽取实体与关系,构造知识图谱,再按实体采样生成单跳与多跳问题。生成的问题需要过滤:答案必须能由文档支持,问题不能包含答案原文,多跳问题必须确实需要多条证据。

第二部分是指标计算。Faithfulness 与 answer relevance 不需要标准答案;context precision 与 context recall 需要相关性标签或标准答案。四个指标共用同一个评审模型,但提示词与判定粒度不同。上下文指标以片段为单位,生成指标以断言为单位,这个差异决定了调用次数与误差结构。

第三部分是聚合与报告。按查询类型、证据位置、文档来源分层求均值,并给出置信区间。只报总体均值会掩盖切片差异:总体 CP 0.85 可能由“单跳 0.95、多跳 0.60”混合而成。

框架的局限有六条。第一,评审模型与被评系统共享训练数据时,评分偏高,且偏差方向未知。第二,context recall 依赖标准答案,标准答案本身的质量决定指标上限。第三,断言拆分是超参数,标点规则与模型拆分给出不同分母。第四,中文的词边界与英文不同,按空格切分的实现会低估中文覆盖率。第五,指标之间不独立,faithfulness 与 answer relevance 对同一段回答的判定可能相关,不能当作独立证据做显著性检验。第六,框架输出的是相关指标,不是因果结论;检索指标高而端到端低时,仍需人工或干预实验定位。

9 人工评估协议

人工评估的第一项工作是定义评分细则。细则必须给出每个分数档的可观察锚点,而不是形容词。以忠实性为例,5 分表示“所有事实断言都能在上下文中逐条找到支持”;4 分表示“所有事实断言均有支持,但其中一条的支持句较弱,需要跨句拼接”;3 分表示“主要断言有支持,次要断言无支持”;2 分表示“存在一条影响结论的无支持断言”;1 分表示“核心结论无支持或与上下文矛盾”。引用正确性单独评分,不并入忠实性;答案相关性、完整性各用一套同级锚点。

第二项工作是抽样与盲评。按查询类型分层抽样,每层不少于 30 条;两名标注者独立标注 20% 至 30% 的样本,其余单标注。标注界面隐藏系统身份与版本号,A/B 样本随机左右排列,避免位置偏差。标注者先做 20 条试标,讨论分歧并修订细则,再进入正式标注。

第三项工作是一致性检验。对双标注子集计算 Cohen's ,按维度分别报告。 低于 0.4 时,先检查细则是否存在无法观察的档位,再检查标注者是否理解了断言粒度;不要直接丢弃低一致样本,分歧本身指向定义的模糊处。分歧样本由第三人裁决,裁决结果写入细则附录。

第四项工作是记录原始标签。报告只给均值会丢失分布信息;应同时给出样本数、均值、标准差、分歧率与典型失败样本编号。人工评估的成本高,样本量通常小于自动评估,置信区间更宽,报告必须给出区间而不是只给点估计。

10 失败归因流程

失败归因按固定顺序检查四个条件,顺序不可交换,因为后一个条件依赖前一个条件的结论。

flowchart TD
    A[端到端错误样本] --> B{标准证据是否在上下文中}
    B -- 否 --> C[检索未命中]
    B -- 是 --> D{相关片段占比是否偏低}
    D -- 是 --> E[上下文噪声或截断]
    D -- 否 --> F{答案断言是否被上下文支持}
    F -- 否 --> G[生成不忠实]
    F -- 是 --> H{答案是否回应查询}
    H -- 否 --> I[答案相关性不足]
    H -- 是 --> J[标签错误或评分错误]

四个失败分支与一个标签分支对应不同的诊断信号与处理动作。

分支诊断信号常见原因处理动作
检索未命中CR 低、Recall@k 低、证据不在任何上下文中索引未覆盖、分块切断、查询与文档用词不一致、嵌入模型领域不匹配补索引、改分块、查询改写、混合检索
上下文噪声CR 高、CP 低、证据名次靠后召回过多、重排缺失、上下文预算截断加重排、降 、父子分块、按名次截断
生成不忠实CP 高、CR 高、faithfulness 低提示未约束、上下文冲突、解码温度高、模型忽略引用要求强化系统指令、要求逐句引用、降低温度、换模型
答案相关性不足忠实性高、答案相关性低只答部分、答非所问、过度拒答改查询理解、补答案结构、校准拒答阈值
标签或评分错误人工复核认为回答正确标准答案过窄、评审模型误判修标签、换评审、人工裁决

归因时必须先确认“标准证据”的定义。若评估集只存标准答案而不存证据片段,检索失败与生成失败无法区分,因为无法判断证据是否曾经出现在上下文中。这是评估集构造阶段就必须解决的问题,不能留到分析阶段补救。

11 评估集构造

评估集按问题类型分层,每层单独报告指标。常用分层如下。

类型定义主要考察建议占比
单跳事实答案位于一个片段的一个句子基础召回与忠实性30% 至 40%
多跳需要两个以上片段组合召回覆盖与上下文组织15% 至 25%
比较对两个实体或两个版本做对比多证据并列与引用10%
聚合需要统计多个片段中的数量或列表覆盖率与完整性10%
时间与版本答案随文档版本变化索引新鲜度与冲突处理5% 至 10%
否定与排除问“哪些不属于”“没有包含”逻辑理解与召回精度5%
无答案文档不覆盖或问题本身无解拒答与幻觉抑制10% 至 20%

难负例是评估集质量的关键。构造方法有三种:同一实体的不同属性(问成立时间,负例给总部地址)、近似重复片段(同一段落的旧版本)、词面高度重叠但结论相反(“支持”与“不支持”)。难负例迫使检索器区分细粒度差异,也迫使生成器核对条件,而不是匹配关键词后就作答。

无答案问题分两类。域外问题与语料主题无关,检索分数普遍很低,容易识别。域内无覆盖问题与语料主题相关,但具体事实没有记录,检索会返回高相似片段,生成器容易用相近内容替代答案。第二类更能暴露拒答逻辑的缺陷,评估集应以它为主。指标上分别报告“域外拒答率”与“域内无答案误答率”,后者是幻觉风险的主要来源。

评估集规模按用途确定。迭代期 100 至 300 条可以在一次迭代周期内完成自动评估与抽样人工复核;验收期 500 条以上,每个关键切片不少于 30 条。样本量低于 30 的切片只报个案,不报均值,因为均值的置信区间过宽,无法支持比较。

评估集必须版本化并与调参集分离。固定测试集用于版本对比,开发集用于调参;两者混用会使指标乐观偏置。文档更新后,旧问题的标准答案可能失效,应保留旧版本测试集用于回归,同时新增当前版本文档的问题集。污染检查包括:问题文本是否出现在训练数据、标准答案是否被模型见过、证据片段是否与预训练语料重复。无法排除污染时,报告应注明。

12 统计显著性与样本量

指标是样本上的估计,换一批样本会变化。报告点估计时必须给出置信区间。对 条样本的指标 ,用自助法(bootstrap)重采样 至 次,取 2.5% 与 97.5% 分位数作为 95% 区间。重采样单位是查询,不是断言;同一查询内的多条断言相关,按断言重采样会低估方差。

两个系统在同一测试集上比较时,使用配对自助法:每次重采样查询集合,同时计算两个系统的指标差,得到差值的置信区间。区间不含 0 才认为差异显著。对二值正确率,可以用 McNemar 检验,只统计不一致的样本对:

其中 是“系统 A 对、系统 B 错”的样本数, 是相反情况的样本数,减 1 是连续性校正。 小于 25 时改用精确二项检验。

样本量由最小可检测差异决定。两独立比例的比较公式为

取 、power 、、,则 、,

即每组约需 1468 条独立样本才能以 80% 概率检出 5 个百分点的提升。配对设计利用同一查询上的相关性,所需样本通常少于独立设计,但具体减少量取决于两系统判定的一致率,不能直接套用该公式。样本量不足时,应报告“未检出差异”而不是“无差异”,两者的统计含义不同。

多重比较需要控制。同时比较 4 个指标、3 个切片时,至少 12 次检验,假阳性概率显著上升。做法是预先指定一个主指标用于验收,其余作为诊断指标只报告区间;或用 Bonferroni 校正把显著性阈值除以检验次数。

13 在线指标

离线指标回答“系统在固定集合上是否更好”,在线指标回答“用户是否愿意使用”。常用在线指标如下。

指标定义主要偏差
点击率引用点击次数 / 答案展示次数位置偏差,首位引用被点击的概率更高
满意度正向反馈数 / 反馈总数反馈稀疏,只有极端体验会反馈
放弃率答案展示后 30 秒内无点击、无追问、无复制的会话占比定义依赖埋点,窗口长度改变数值
追问率同一会话内第二次提问的会话占比追问可能是深入,也可能是失败
转人工率转人工会话数 / 总会话数受人工入口位置影响
时延首个 token 时间与完整答案时间的 P50、P95长尾被均值掩盖
单次成本检索、重排、生成的调用成本之和缓存命中与批处理会改变均值

在线指标的对照必须用随机分流或交错实验,不能比较前后两个时间段,因为流量构成、文档版本与用户群都会变化。指标之间会冲突:缩短答案可以降低时延与成本,但可能提高追问率;增加引用可以提升可信度,但可能降低点击率。验收时应设定主指标与护栏指标,主指标提升且护栏不退化才算通过。

离线与在线不一致是常态。离线评估集由标注者构造,问题更规范、答案更完整;线上查询更短、更口语化、更多指代。离线 Recall@k 高不代表线上能召回,因为线上查询的用词分布不同。缩小差距的方法是定期从线上采样真实查询,补充进评估集,并按查询来源分层报告。

关键直觉

TIP

RAG 评估的核心是条件分解:端到端正确率约等于“证据命中率”乘以“命中条件下的生成正确率”。三元组指标分别估计这两个因子,因此任一因子接近 0 时,优化另一个因子都不会改变端到端结果。

该表述与第 1 节的 对应。context recall 与 Recall@k 估计 的不同侧面:前者按断言覆盖,后者按片段命中;单证据问题上 Recall@k 等于命中率。faithfulness 与答案正确率估计 。它也解释了为什么单指标优化会失效:把 Recall@k 从 0.8 提到 0.95,若 只有 0.5,端到端上限仅从 0.40 提到 0.475;把 faithfulness 从 0.7 提到 0.95,若证据命中率只有 0.5,端到端上限仅从 0.35 提到 0.475。两种改动的收益都受另一因子约束。

例子与代码

以下代码用纯标准库实现 context precision、context recall、基于断言的 faithfulness 近似、answer relevance 代理值,以及 Recall@k、MRR、nDCG@k。运行环境为 Python 3.10 及以上,不依赖第三方库。支持判定使用断言 token 被证据覆盖的比例,阈值 ;这是对 LLM 判定的可复现近似,不是等价替代。

# Python 3.10+,仅使用标准库
import math
import re

TOKEN_RE = re.compile(r"[a-z0-9_]+|[\u4e00-\u9fff]+")
STOP = set("的了是在和与及或对为中上下一这那有并而其之也就都把被将从到个")
SENT_SPLIT = re.compile(r"[。!?!?;;\n]+")
CLAIM_SPLIT = re.compile(r"[。!?!?;;,,\n]+")


def content_tokens(text):
    """切出内容 token:ASCII 词保持整体,汉字取一元与二元组,过滤单字停用词。"""
    out = []
    for m in TOKEN_RE.finditer(text.lower()):
        s = m.group(0)
        if s[0].isascii():
            out.append(s)
        else:
            out.extend(ch for ch in s if ch not in STOP)
            out.extend(s[i:i + 2] for i in range(len(s) - 1))
    return out


def split_sentences(text):
    return [s.strip() for s in SENT_SPLIT.split(text) if s.strip()]


def split_claims(text):
    return [s.strip() for s in CLAIM_SPLIT.split(text) if s.strip()]


def support_ratio(claim, evidence):
    """断言的内容 token 被证据覆盖的比例,作为文本蕴含判定的近似。"""
    ct = set(content_tokens(claim))
    if not ct:
        return 0.0
    return len(ct & set(content_tokens(evidence))) / len(ct)


def context_precision(relevant):
    """RAGAS 定义:只对相关位置求 precision@k 的均值。"""
    hits, precisions = 0, []
    for i, rel in enumerate(relevant, 1):
        if rel:
            hits += 1
            precisions.append(hits / i)
    return sum(precisions) / len(precisions) if precisions else 0.0


def context_recall(gold, contexts, tau=0.6):
    """标准答案的每条断言是否能被某个上下文句子支持。"""
    rows = []
    for claim in split_claims(gold):
        best = max((support_ratio(claim, s)
                    for ctx in contexts for s in split_sentences(ctx)), default=0.0)
        rows.append((claim, best, best >= tau))
    n = sum(r[2] for r in rows)
    return (n / len(rows) if rows else 0.0), rows


def faithfulness(answer, contexts, tau=0.6):
    """答案的每条断言是否至少被一个上下文句子支持。"""
    rows = []
    for claim in split_claims(answer):
        best, best_sent = 0.0, ""
        for ctx in contexts:
            for s in split_sentences(ctx):
                r = support_ratio(claim, s)
                if r > best:
                    best, best_sent = r, s
        rows.append((claim, best, best_sent, best >= tau))
    n = sum(r[3] for r in rows)
    return (n / len(rows) if rows else 0.0), rows


def answer_relevance_proxy(query, answer):
    """RAGAS 用反向生成问题计算余弦;此处用查询词覆盖率作可复现的代理。"""
    q = set(content_tokens(query))
    return len(q & set(content_tokens(answer))) / len(q) if q else 0.0


def recall_at_k(ranked, relevant, k):
    return len(set(ranked[:k]) & set(relevant)) / len(relevant) if relevant else 0.0


def mrr(ranked, relevant):
    for i, doc_id in enumerate(ranked, 1):
        if doc_id in relevant:
            return 1.0 / i
    return 0.0


def ndcg_at_k(ranked, gains, k):
    dcg = sum(gains.get(d, 0) / math.log2(i + 1) for i, d in enumerate(ranked[:k], 1))
    ideal = sorted(gains.values(), reverse=True)[:k]
    idcg = sum(g / math.log2(i + 1) for i, g in enumerate(ideal, 1))
    return dcg / idcg if idcg else 0.0


if __name__ == "__main__":
    query = "context precision 如何计算?"
    contexts = [
        "context precision 只统计检索上下文中与问题相关的片段。",
        "BM25 用词频和逆文档频率计算片段得分。",
        "context precision 对相关片段所在位置做加权平均,越靠前的相关片段权重越大。",
        "端到端评估只看最终答案,无法定位失败环节。",
    ]
    gold = "context precision 只统计相关片段;对相关片段的位置做加权平均;分母是相关片段数。"
    answer = "context precision 只统计相关片段,并按位置加权平均;它同时可以衡量检索的召回率。"
    relevant = [True, False, True, False]

    cp = context_precision(relevant)
    cr, cr_rows = context_recall(gold, contexts)
    f, f_rows = faithfulness(answer, contexts)
    ar = answer_relevance_proxy(query, answer)

    print("检索上下文(按排名):")
    for i, (ctx, rel) in enumerate(zip(contexts, relevant), 1):
        print(f"  [{i}] relevant={int(rel)}  {ctx}")
    print(f"\ncontext precision@4 = {cp:.4f}")
    print("context recall 断言支持:")
    for claim, best, ok in cr_rows:
        print(f"  {int(ok)} best={best:.3f}  {claim}")
    print(f"context recall = {cr:.4f}")
    print("\nfaithfulness 断言支持:")
    for claim, best, sent, ok in f_rows:
        print(f"  {int(ok)} best={best:.3f}  {claim}  <- {sent}")
    print(f"faithfulness = {f:.4f}")
    print(f"answer relevance 代理值 = {ar:.4f}")

    ranked = ["c3", "c7", "c1", "c9", "c2"]
    gains = {"c3": 1, "c1": 2, "c9": 1}
    rel_set = {"c1", "c9"}
    print("\n检索指标例子 ranked =", ranked)
    print(f"Recall@5 = {recall_at_k(ranked, rel_set, 5):.4f}  "
          f"MRR = {mrr(ranked, rel_set):.4f}  nDCG@5 = {ndcg_at_k(ranked, gains, 5):.4f}")

代码分四部分。第一部分把文本切成内容 token:ASCII 词整体保留,汉字同时保留一元与二元组,二元组让“相关片段”这类固定搭配获得独立权重,去掉二元组会使中文匹配退化为单字匹配,噪声显著上升。第二部分计算支持比例:断言 token 集合被证据 token 集合覆盖的比例,作为蕴含判定的近似;去掉阈值判断,context recall 与 faithfulness 会变成连续值,无法与人工二值标注对齐。第三部分实现四个指标:context precision 只累加相关位置上的 ,context recall 与 faithfulness 分别以标准答案和回答的断言为分母,answer relevance 用查询词覆盖率作代理,代理值偏低是预期结果,因为它只衡量词面覆盖,不衡量语义。第四部分实现检索指标并在示例上输出数值。

在示例上运行,输出如下。

检索上下文(按排名):
  [1] relevant=1  context precision 只统计检索上下文中与问题相关的片段。
  [2] relevant=0  BM25 用词频和逆文档频率计算片段得分。
  [3] relevant=1  context precision 对相关片段所在位置做加权平均,越靠前的相关片段权重越大。
  [4] relevant=0  端到端评估只看最终答案,无法定位失败环节。

context precision@4 = 0.8333
context recall 断言支持:
  1 best=0.867  context precision 只统计相关片段
  1 best=0.913  对相关片段的位置做加权平均
  0 best=0.500  分母是相关片段数
context recall = 0.6667

faithfulness 断言支持:
  1 best=0.867  context precision 只统计相关片段  <- context precision 只统计检索上下文中与问题相关的片段
  1 best=0.714  并按位置加权平均  <- context precision 对相关片段所在位置做加权平均,越靠前的相关片段权重越大
  0 best=0.125  它同时可以衡量检索的召回率  <- context precision 只统计检索上下文中与问题相关的片段
faithfulness = 0.6667
answer relevance 代理值 = 0.3333

检索指标例子 ranked = ['c3', 'c7', 'c1', 'c9', 'c2']
Recall@5 = 1.0000  MRR = 0.3333  nDCG@5 = 0.7763

数值可以逐项核对。context precision 等于 0.8333,因为相关片段位于第 1 与第 3 名,;第 2、4 名是噪声,它们不进入分子,只通过第 3 名的 间接降低结果。context recall 等于 0.6667,因为标准答案的三条断言中“分母是相关片段数”在上下文中没有支持,最高覆盖只有 0.500,低于阈值 0.6。faithfulness 等于 0.6667,因为回答的第二条断言“可以衡量检索的召回率”在上下文中最高覆盖只有 0.125。answer relevance 代理值 0.3333 说明该代理只覆盖了查询的一部分词面,不能当作 RAGAS 的 answer relevance 使用。

检索指标一组给出三个不同视角:Recall@5 等于 1,说明两个相关片段都在前 5;MRR 等于 0.3333,因为第一个相关片段排第 3;nDCG@5 等于 0.7763,因为高等级的相关片段排在第 3,低于理想排序。若只看 Recall@5,会误判排序已经最优。

评估报告模板如下。模板中的每个字段都对应前文的定义,缺少任一字段都会使结论无法复核。

# RAG 评估报告

**1 版本与范围**
- 系统版本 / 提交哈希:
- 索引版本 / 文档快照日期:
- 生成模型与版本:
- 评审模型与版本(含温度、提示词哈希):
- 评估日期与执行人:

**2 评估集**
- 样本总数:            答案可回答数:        无答案数:
- 分层:单跳 __ / 多跳 __ / 比较 __ / 聚合 __ / 时间 __ / 否定 __ / 无答案 __
- 证据标注:是否保存 gold 片段与字符偏移(是/否)
- 污染检查结论:

**3 总体指标**
指标定义数值95% CI样本数
Recall@k相关片段进入前 k 的比例
nDCG@k分级排序质量
context precision位置加权精度
context recall标准答案断言被支持的比例
faithfulness回答断言被支持的比例
answer relevance回答对查询的覆盖
端到端正确率与标准答案一致的比例
无答案拒答率正确拒答 / 无答案样本
**4 分环节与分切片**
切片nRecall@kCPCRFAR端到端
单跳
多跳
**5 失败分布**
归因分支样本数占比典型样本编号
检索未命中
上下文噪声
生成不忠实
答案相关性不足
标签或评分错误
**6 显著性** - 对照版本: - 主指标差值: 差值 95% CI: - 检验方法(配对 bootstrap / McNemar)与 p 值: - 多重比较校正: **7 结论与行动** - 是否达到上线门槛: - 三项优先改进及预期影响的指标: - 需要补充的评估样本: **8 附录** - 指标实现脚本路径与版本: - 人工评分细则版本: - 标注一致性(Cohen's kappa,按维度):

易错点

WARNING

- 把 context precision 当作“相关片段占比”:RAGAS 定义只对相关位置求精度均值,唯一相关片段排第一时 CP 等于 1,即使其余 条全是噪声;需要干净程度时另报相关片段占比。

- 用 Recall@k 代替 context recall:前者以片段为单位,后者以标准答案的断言为单位;一条片段覆盖三条断言时,Recall@1 等于 1,而标准答案若有第四条断言未被覆盖,CR 只有 0.75,多跳与多断言场景会分离。

- 用 answer relevance 代替答案正确性:反向生成问题的余弦只衡量主题覆盖,一个错误但切题的回答可以得到高 AR;正确性必须与标准答案或人工评分比较。

- 只报均值不报区间:100 条样本上 0.80 与 0.84 的差异可能完全由抽样波动解释,没有置信区间的版本对比不能作为上线依据。

- 让生成模型给自己的输出打分且不做校准:同家族模型存在自我偏好,评分会系统性偏高;必须用不同家族评审模型,并在人工子集上报告 。

- 在测试集上调参:反复用测试集选择分块大小与重排阈值,会使指标乐观偏置;测试集只用于验收,调参使用开发集。

关联笔记

  • RAG原理与流程(前置):给出索引、检索、生成三阶段与失效模式,本篇把这些失效模式转成指标。
  • RAG文档分块策略(前置):分块决定检索单元与上下文单元,块变化会使 Recall@k 与 CP 的历史数值不可比。
  • 检索优化与重排Rerank(前置):重排直接改变 nDCG@k 与 context precision,其收益必须用本篇指标度量。
  • 从零实现RAG指南(后续):把本篇的 Recall@k 与 context precision 接入最小系统,形成可运行的验收脚本。
  • 模型评估矩阵(对照):那篇按模型能力维度组织基准,本篇按系统链路环节组织条件指标,两者互补。

达标检测

  • [ ] 能写出 context precision@K 的公式,并在 上算出 。
  • [ ] 能说明 CP 等于 1 但上下文含两条噪声片段的条件,并给出衡量干净程度的替代指标。
  • [ ] 能区分 Recall@k 与 context recall 的计量单位,并构造一个两者数值分离的例子。
  • [ ] 能运行本篇代码,修改回答的一条断言,使 faithfulness 从 0.6667 变为 1.0000。
  • [ ] 能用样本量公式计算 、、power 时每组所需样本数。
  • [ ] 能为一个 RAG 系统设计含 20% 无答案问题、按跳数分层的 200 条评估集。
  • [ ] 能根据两名标注者的混淆矩阵计算 Cohen's ,并判断一致性等级。

参考来源

  • Es et al., RAGAS: Automated Evaluation of Retrieval Augmented Generation, arXiv:2309.15217, EACL 2024 Demo —— 对应本篇 context precision、context recall、faithfulness、answer relevance 的定义与自动评估流程。
  • Gao et al., Retrieval-Augmented Generation for Large Language Models: A Survey, arXiv:2312.10997 —— 对应三元组视角、检索与生成的失效模式分类。
  • Liu et al., Lost in the Middle: How Language Models Use Long Contexts, arXiv:2307.03172 —— 对应上下文位置对生成利用率的影响,以及 CP/CR 未覆盖的位置因素。
  • Zheng et al., Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena, arXiv:2306.05685 —— 对应 LLM-as-judge 的位置偏差、长度偏差与自我偏好。
  • Saad-Falcon et al., ARES: An Automated Evaluation Framework for Retrieval-Augmented Generation Systems, arXiv:2311.09476 —— 对应自动评估框架的组成、评审模型校准与局限。
  • Järvelin & Kekäläinen, Cumulated Gain-based Evaluation of IR Techniques, ACM TOIS, 2002 —— 对应 nDCG@k 的折扣累积增益定义与归一化。