幻觉与缓解
定义
幻觉(hallucination)指模型生成的文本包含与可核验事实、或与给定输入上下文不一致的内容,且以陈述性语气输出、未标注不确定性。
按不一致的对象,幻觉分为三类。
- 事实性幻觉(factuality hallucination):输出与世界中的客观事实不符,判定依据是外部证据,与是否提供上下文无关。例:把某论文的发表年份写错,或虚构不存在的文献。
- 忠实性幻觉(faithfulness hallucination):输出与给定上下文不符,判定依据是输入文档,即使该陈述在世界范围内为真也属于此类。例:检索文档写「准确率 0.81」,输出写「准确率 0.91」。
- 推理错误(reasoning error):前提与中间步骤均可核验,但由前提推出结论的过程不成立。例:已知 、,却得出 。
Ji 等人的综述给出另一种正交切分:内在幻觉(intrinsic hallucination)指输出与源内容直接矛盾,外在幻觉(extrinsic hallucination)指输出包含源内容无法验证的额外信息。内在幻觉与忠实性幻觉判定方式相同,外在幻觉需要外部证据才能判定为事实错误还是正确补充。
其余术语与符号。
- 断言(claim):输出中可独立判定真假的陈述句,记作 。一段输出 可分解为断言集合 。
- 证据(evidence):用于判定的文本,记作 ,可以是检索文档、输入上下文或知识库条目。
- 支持关系(support):断言 被证据 蕴含,记作 ;被证据否定记作 且 ;两者都不成立时称无法核验。
- 忠实率(faithfulness rate):被判定为支持的断言占全部断言的比例,。
- 幻觉率(hallucination rate):被判定为矛盾或无法核验的断言比例,。
- 拒答率(abstention rate):面对可回答问题却选择不回答的比例,用于度量过度缓解。
- 温度(temperature):解码时对 logit 做缩放的系数,记作 ; 时趋近贪心解码。
- 熵(entropy):分布不确定性的度量,, 为词表第 个 token 的概率。
- 序列对数概率:,用于比较不同输出的模型置信度。
为什么重要
生成模型的训练目标是最大化观测文本的似然,而不是最大化陈述的真实性。这两者在数据充分时高度相关,在数据稀疏处分离:模型对长尾实体、具体数值、近期事件缺少统计支持,仍会按语言模型的连续性补全,输出形式上完整、内容上无据的文本。
后果沿使用场景放大。检索增强系统把幻觉从「与事实不符」转变为「与给定文档不符」,后者更难被用户发现,因为用户倾向于信任检索结果。Agent 系统把幻觉转换为动作:错误的工具参数、错误的对象标识会直接产生副作用。评估环节则出现口径问题:以流畅度和相关性为主的评分器会给幻觉文本高分,导致离线指标与人工判断背离。
在本书结构中,本篇承接 模型评估矩阵 的可靠性维度,把「稳定性」细化为可判定的断言级指标;它依赖 RAG原理与流程 的检索生成流程来说明忠实性问题的来源;缓解部分的训练侧手段与 对齐-RLHF 的奖励建模直接相关;评估部分与 RAG评估 的三元组指标互补。
原理与推导
1. 从生成目标到幻觉
自回归模型定义输出序列的联合概率:
训练目标是最小化负对数似然:
该目标只要求模型复现训练分布中的词序列,不包含「陈述为真」这一约束。若训练语料中某实体的错误描述出现频率高于正确描述,最小化似然会驱动模型输出错误描述。若某实体在语料中出现次数很少,模型对该实体的条件分布接近先验,输出主要由局部上下文与常见搭配决定。
由此得到第一个结论:幻觉不是训练的偶然缺陷,而是似然目标的系统性副产物。降低幻觉需要引入似然之外的信息,例如检索证据、外部校验器或人工偏好信号。
2. 成因分层
成因分为四层,各层的干预手段不同。
数据层:长尾实体缺少足够共现,模型只能依据类型先验补全属性;知识过时使模型输出训练截止时间之前的旧值;语料噪声包括错误标注、机器翻译残留、模板化文本;重复文本使模型对特定表述过拟合,在改写后失效。
训练目标层:除似然目标外,还有两个机制。其一是曝光偏差(exposure bias):训练时以真实前缀 为条件,推理时以模型自身生成的前缀为条件,一旦早期 token 偏离,后续条件分布落在训练分布之外,错误被放大。其二是 SFT 数据的示范效应:若微调数据中的参考答案本身包含无据细节,模型会学习这种写作风格,在相似问题上复现。
解码层:采样引入随机性。温度缩放后的分布为:
其中 为第 个 token 的 logit。 增大使分布趋于均匀,低概率 token 被选中的机会增加; 减小趋近贪心,输出更确定但不保证正确。长度也是因素:生成长度增加时,累积的偏离概率上升,且模型倾向于用补充细节维持连贯。
上下文层:上下文缺失时模型转入闭卷模式,只能依赖参数记忆;上下文与参数记忆冲突时,模型可能忽略上下文而输出记忆中的值;上下文含噪声时,检索到的错误文档被当作证据;长上下文中段的信息被忽略,模型只使用开头与结尾。
3. 检测方法
检测的目标是把输出分解为断言并逐条判定。四类方法在成本、覆盖与误报上不同。
| 方法 | 判定依据 | 成本 | 覆盖 | 主要误报来源 |
|---|---|---|---|---|
| 自一致性 | 多次采样的答案分布 | 低,需多次解码 | 仅限有唯一答案的任务 | 系统性错误在多次采样中一致 |
| 外部检索核验 | 检索到的证据 | 中,需检索与阅读 | 事实性幻觉 | 检索到错误或无关证据 |
| NLI 蕴含判定 | 前提与假设的蕴含关系 | 低,单次前向 | 忠实性幻觉 | 数值、否定、实体绑定错误 |
| 不确定性估计 | logit、熵、序列概率 | 极低,解码时可得 | 全部类型,仅给风险信号 | 模型对错误答案同样自信 |
自一致性(self-consistency)的做法是对同一问题采样 个输出,抽取最终答案,取众数:
众数频率 可作为置信度。该方法的盲区是系统性错误:若模型对某实体一致地给出同一个错误值,一致性高而正确性低。因此自一致性度量的是稳定性,不是真实性。
外部检索核验把每个断言转为查询,检索证据后判定。流程为:断言抽取、查询构造、证据检索、蕴含判定、聚合。该方法的成本主要在检索与判定,覆盖事实性幻觉;盲区是检索不到证据时无法区分「错误」与「冷门」。
NLI 蕴含判定把上下文作为前提 、断言作为假设 ,用三分类模型估计 、、,取最大概率类别。判定的关键是阈值校准:蕴含概率高于 判为支持,矛盾概率高于 判为矛盾,其余判为无法核验。该方法的盲区是数值与否定:词元重叠高但数值不同的断言容易被判为支持。
不确定性估计使用解码时的统计量。平均熵为:
序列对数概率需按长度归一化后再比较,否则短输出天然占优:
低 或高 提示输出可能不可靠,但该信号与实际正确性的相关性在分布外样本上显著下降,只能作为筛查而非判定。
4. 缓解方法
缓解分为生成前、生成中、生成后三类,分别作用于检索、解码与校验。
flowchart LR
Q[用户问题] --> R[检索证据]
R --> G[生成带引用草稿]
G --> E[断言抽取]
E --> V{证据核验}
V -->|支持| O[输出]
V -->|矛盾| W[重写或删除]
V -->|无法核验| A[拒答或降级]
检索增强生成:在生成前检索外部文档并拼入上下文,把依赖参数记忆的生成转为依赖给定文档的生成,见 RAG原理与流程。该方法降低事实性幻觉,但引入忠实性幻觉:若检索结果错误、分块截断关键条件、或重排把无关文档排在前列,模型会以高置信度复述错误内容。检索质量与忠实性不是同一指标,需要分别评估。
引用强制:要求模型为每个断言标注证据编号,输出后校验引用是否真正支撑断言。该校验可复用 NLI 判定,把「引用存在」与「引用支撑」分开统计。仅有引用编号而无支撑校验时,模型会生成形式上合规、内容上不相关的引用。
拒绝回答:当证据不足或校验失败时输出「无法确认」。决策规则可用期望效用:
其中 为答错的概率, 为答对的收益, 为答错的代价, 为拒答的代价。仅当 时回答。该规则说明拒答阈值应由业务代价决定,而不是固定为某个置信度。
解码约束:降低温度、使用贪心解码、限制输出长度,可减少采样引入的随机错误。约束解码(如 JSON Schema 约束)保证结构合法,但不保证内容正确;结构与事实必须分开校验。
训练侧手段:用偏好数据训练模型偏好有据回答,或用事实性奖励训练校验器。风险是奖励黑客(reward hacking):模型学习迎合奖励模型的表面特征,例如堆叠限定词、增加引用数量而不核对内容。缓解方式是奖励模型与人工标注定期对齐,并保留拒绝样本。
后校验:在输出后运行规则校验与模型校验,检查数值是否落在证据范围内、日期是否一致、实体是否出现在证据中、否定词极性是否一致。规则校验召回低但精确率高,适合作为硬约束。
5. 评估
评估分三个层次:断言级、样本级、系统级。
断言级指标是忠实率与幻觉率,需要断言抽取与逐条判定。样本级指标是「该回答是否整体可信」,常用于产品验收。系统级指标包括拒答率、平均证据数、引用支撑率、人工复核成本。
事实性评测集通常由闭卷问答题构成,覆盖实体属性、时间、数值、因果关系。构造时需注意两点:答案必须唯一且可核验;问题不能诱导模型输出训练语料中的常见错误。对抗性版本会给出错误前提,测试模型是否纠正前提而不是顺着回答。
忠实性评测集由「上下文、问题、参考答案」三元组构成,上下文可以来自检索结果或人工构造。评测时把模型输出分解为断言,逐条与上下文比对,统计支持、矛盾、无法核验三类比例。上下文本身有错时,正确输出会被判为不忠实,因此评测集必须经过人工审核。
人工标注是校准基准。标注指南需明确三类标签的边界,尤其是「无法核验」与「矛盾」的区分:前者表示证据不足,后者表示证据否定。两人独立标注后计算 Cohen's ,低于 0.4 时先修订指南,再讨论模型差异。
过度缓解的代价必须与幻觉率同时报告。定义覆盖率为可回答问题中被回答的比例,则拒答率与覆盖率之和为 1。提高拒答阈值会降低幻觉率并提高拒答率,净效果取决于业务代价。只报告幻觉率下降而不报告拒答率上升,会掩盖有用性的损失。
关键直觉
忠实性是条件关系,事实性是世界关系
判定忠实性只需比较输出与给定上下文: 成立即为忠实,与 在世界中是否为真无关。判定事实性需要外部证据,成本更高且依赖证据覆盖。两类判定的分离解释了一个常见现象:检索到错误文档时,模型可以同时做到「忠实」与「错误」。缓解手段因此也分离:检索与重排改善事实性,NLI 校验与引用强制改善忠实性。该直觉是第 1 节三类定义的直接推论。
例子与代码
例 1:断言级覆盖率的构成
设上下文为四句关于检索的说明,断言为「重排模型对全部候选重新打分」。上下文写的是「对前 个候选重新打分」,断言把范围扩大为全部。词元覆盖率仍在 0.75 左右,因为「重排模型」「候选」「重新打分」都匹配,仅「全部」与「前 个」不匹配。这解释了为什么基于重叠的判定必须补充量词与数值规则,否则会把范围错误判为支持。
例 2:规则化 NLI 近似与忠实率计算
下面的脚本用规则近似 NLI 的三分类判定:先做数值一致性检查,再检查互斥术语、全称量词、否定极性,最后按字符二元组覆盖率给出支持或无法核验。脚本在 9 条人工标注的断言上计算判定准确率、忠实率与误支持率。
import re
SUPPORTED, CONTRADICTED, UNVERIFIABLE = "支持", "矛盾", "无法核验"
NEGATIONS = ("不", "未", "无", "没有", "并非")
# 互斥术语组:同一组内两个词不能同时描述同一对象
ANTONYM_GROUPS = (
frozenset({"双塔", "交叉"}),
frozenset({"稀疏", "稠密"}),
frozenset({"生成之前", "生成之后"}),
frozenset({"高于", "低于"}),
frozenset({"允许", "禁止"}),
)
QUANTIFIERS = ("全部", "所有", "总是", "任意")
PARTIAL_MARKERS = ("前 k", "部分", "通常", "常用")
def tokens(text: str) -> list[str]:
"""中文取字符二元组,英文与数字取词,均转小写。"""
text = text.lower()
words = re.findall(r"[a-z0-9_]+", text)
han = re.sub(r"[^\u4e00-\u9fff]", "", text)
return words + [han[i:i + 2] for i in range(len(han) - 1)]
def split_sentences(text: str) -> list[str]:
return [s for s in re.split(r"[。;;!!??\n]", text) if s.strip()]
def coverage(assertion: str, sentence: str) -> float:
a = set(tokens(assertion))
return len(a & set(tokens(sentence))) / len(a) if a else 0.0
def numbers(text: str) -> set[str]:
clean = re.sub(r"[A-Za-z_]+\d+", " ", text) # 去掉 BM25、GPT4 一类标识符
return set(re.findall(r"\d+(?:\.\d+)?", clean))
def check(assertion: str, context: str) -> tuple[str, str, float]:
"""规则化近似 NLI:返回 (判定, 理由, 与最相关句的二元组覆盖率)。"""
sents = split_sentences(context)
if not sents:
return UNVERIFIABLE, "上下文为空", 0.0
best = max(sents, key=lambda s: coverage(assertion, s))
cov = coverage(assertion, best)
num_a, num_c = numbers(assertion), numbers(context)
if num_a:
if not num_c:
return UNVERIFIABLE, "断言含数值,上下文中无对应数值", cov
if not num_a <= num_c:
return CONTRADICTED, f"数值冲突:{sorted(num_a - num_c)} 不在 {sorted(num_c)} 中", cov
for group in ANTONYM_GROUPS:
in_a = {t for t in group if t in assertion}
in_c = {t for t in group if t in context}
if in_a and in_c and not (in_a & in_c):
return CONTRADICTED, f"术语冲突:断言含{sorted(in_a)},上下文含{sorted(in_c)}", cov
if any(q in assertion for q in QUANTIFIERS) and any(w in context for w in PARTIAL_MARKERS):
return CONTRADICTED, "全称量词与上下文的部分性表述冲突", cov
neg_a = any(n in assertion for n in NEGATIONS)
neg_c = any(n in best for n in NEGATIONS)
if cov >= 0.5 and neg_a != neg_c:
return CONTRADICTED, "否定极性冲突", cov
if cov >= 0.6:
return SUPPORTED, "断言词元被单个上下文句覆盖", cov
if cov >= 0.35:
return UNVERIFIABLE, "覆盖率不足,需补充检索证据", cov
return UNVERIFIABLE, "上下文中缺少相关表述", cov
context = (
"检索增强生成在生成之前检索外部文档。"
"稠密检索使用双塔编码器把查询与文档映射到同一向量空间。"
"BM25 属于稀疏检索,依赖词频与逆文档频率。"
"重排模型对前 k 个候选重新打分,常用交叉编码器。"
)
cases = [
("BM25 属于稀疏检索。", SUPPORTED),
("稠密检索把查询与文档映射到同一向量空间。", SUPPORTED),
("BM25 依赖词频与逆文档频率。", SUPPORTED),
("重排模型对前 k 个候选重新打分。", SUPPORTED),
("重排模型使用双塔编码器对候选打分。", CONTRADICTED),
("检索增强生成在生成之后检索文档。", CONTRADICTED),
("重排模型对全部候选重新打分。", CONTRADICTED),
("该系统在 2021 年发布。", UNVERIFIABLE),
("向量数据库使用 HNSW 索引。", UNVERIFIABLE),
]
hits = gold_pos = pos_hit = gold_neg = false_pos = 0
for assertion, gold in cases:
pred, reason, cov = check(assertion, context)
hits += pred == gold
if gold == SUPPORTED:
gold_pos += 1
pos_hit += pred == SUPPORTED
else:
gold_neg += 1
false_pos += pred == SUPPORTED
print(f"{assertion} | 金标={gold} | 判定={pred} | 覆盖={cov:.2f} | {reason}")
n = len(cases)
print(f"\n样本数={n} 判定准确率={hits / n:.4f} 忠实率={pos_hit / gold_pos:.4f} 误支持率={false_pos / gold_neg:.4f}")
ctx2 = "该综述发表于 2023 年。"
print("\n数值规则补充演示:")
print(check("该综述发表于 2021 年。", ctx2))
print(check("该综述发表于 2023 年。", ctx2))
输出如下。
BM25 属于稀疏检索。 | 金标=支持 | 判定=支持 | 覆盖=1.00 | 断言词元被单个上下文句覆盖
稠密检索把查询与文档映射到同一向量空间。 | 金标=支持 | 判定=支持 | 覆盖=0.94 | 断言词元被单个上下文句覆盖
BM25 依赖词频与逆文档频率。 | 金标=支持 | 判定=支持 | 覆盖=1.00 | 断言词元被单个上下文句覆盖
重排模型对前 k 个候选重新打分。 | 金标=支持 | 判定=支持 | 覆盖=1.00 | 断言词元被单个上下文句覆盖
重排模型使用双塔编码器对候选打分。 | 金标=矛盾 | 判定=无法核验 | 覆盖=0.47 | 覆盖率不足,需补充检索证据
检索增强生成在生成之后检索文档。 | 金标=矛盾 | 判定=矛盾 | 覆盖=0.75 | 术语冲突:断言含['生成之后'],上下文含['生成之前']
重排模型对全部候选重新打分。 | 金标=矛盾 | 判定=矛盾 | 覆盖=0.75 | 全称量词与上下文的部分性表述冲突
该系统在 2021 年发布。 | 金标=无法核验 | 判定=无法核验 | 覆盖=0.00 | 断言含数值,上下文中无对应数值
向量数据库使用 HNSW 索引。 | 金标=无法核验 | 判定=无法核验 | 覆盖=0.22 | 上下文中缺少相关表述
样本数=9 判定准确率=0.8889 忠实率=1.0000 误支持率=0.0000
数值规则补充演示:
('矛盾', "数值冲突:['2021'] 不在 ['2023'] 中", 0.8571428571428571)
('支持', '断言词元被单个上下文句覆盖', 1.0)
tokens 在做什么:把中文切成字符二元组,把英文标识符切成词。为什么这样做:中文没有空格,按词切分需要分词器与词典,而二元组在无词典条件下即可捕捉局部搭配,且对「重新打分」这类复合词有较好的召回。去掉会怎样:只能按单字匹配,覆盖率虚高,几乎所有断言都会被判为支持。
check 在做什么:按固定优先级依次检查数值、互斥术语、量词、否定、覆盖率。为什么这样排序:数值与术语冲突的证据强度最高,命中即可判为矛盾;覆盖率只作为兜底,因为它无法区分范围扩大与语义否定。去掉优先级会怎样:覆盖率规则会把「重排模型对全部候选重新打分」判为支持,因为该断言与上下文共享大部分词元。
统计部分在做什么:把 9 条人工标注结果与系统判定逐条比对,分别统计整体准确率、金标为支持的断言中被正确判为支持的比例(忠实率)、金标为非支持的断言中被错误判为支持的比例(误支持率)。为什么这样拆分:整体准确率掩盖两类错误的代价差异,误支持比误判无法核验更危险,因为它直接把无据内容放行。
脚本还暴露了一个真实局限:第 5 条断言「重排模型使用双塔编码器」与上下文的「重排模型……常用交叉编码器」构成矛盾,但系统判为无法核验。原因是词元重叠无法完成主语与谓语的绑定:双塔 确实出现在上下文中,只是修饰另一个对象。修复需要依存分析或训练好的 NLI 模型,规则方法只能覆盖一部分矛盾类型。这正是第 3 节所说 NLI 判定的实体绑定盲区。
例 3:检测方法的成本与覆盖对照
| 方法 | 单条延迟 | 每条成本 | 覆盖类型 | 漏检主因 | 适用环节 |
|---|---|---|---|---|---|
| 自一致性 | 5 次解码 | 5 倍生成成本 | 有唯一答案 | 系统性一致错误 | 高价值问答 |
| 规则校验 | 毫秒级 | 可忽略 | 数值、日期、实体 | 语义矛盾 | 全部输出前置 |
| NLI 判定 | 单次小模型前向 | 低 | 忠实性 | 实体绑定、否定 | 引用校验 |
| 检索核验 | 检索加判定 | 中 | 事实性 | 检索不命中 | 事实性问答 |
| 人工复核 | 分钟级 | 高 | 全部 | 标注者疲劳 | 抽样校准 |
易错点
五个可检验的错误
1. 把流畅当正确。以语言模型的输出概率或人工阅读的流畅度作为正确性依据。检验方式:抽取 50 条高流畅输出做事实核验,统计其中无据断言的比例。
2. 检索到了错误来源。RAG 系统只检查「是否检索到文档」,不检查文档是否权威、是否与问题匹配。检验方式:在检索结果中注入一条错误文档,观察模型是否复述。
3. 引用不支撑断言。输出带有引用编号,但编号对应的段落并不包含该断言的内容。检验方式:随机构造引用与断言的不匹配样本,测试校验器能否识别。
4. 评测集本身有错。参考答案错误、答案不唯一、上下文含错误信息,导致正确输出被判为幻觉。检验方式:双人独立复核评测集,报告 与争议条目数。
5. 只报告幻觉率不报告拒答率。提高阈值后幻觉率下降,但可回答的问题被大量拒绝,净有用性下降。检验方式:在同一测试集上同时报告幻觉率、拒答率与覆盖率。
关联笔记
- 前置:RAG原理与流程,提供检索、拼装上下文、生成的三段流程,本篇的忠实性幻觉以该流程为判定对象。
- 前置:模型评估矩阵,提供样本量、置信区间与评分器一致性的方法,本篇的忠实率与幻觉率沿用同一统计口径。
- 后续:RAG评估,把忠实性拆成上下文相关性、答案忠实性、答案相关性三个可分别测量的维度。
- 后续:进阶RAG-Self-RAG与Agentic-RAG,用模型自身的反思判断决定是否检索与是否采纳证据,是第 4 节后校验手段的系统化。
- 对照:对齐-RLHF,训练侧用偏好信号降低有害与无据输出,与推理侧的检索校验构成两条互补路径。
达标检测
- [ ] 不看原文,区分事实性幻觉、忠实性幻觉与推理错误,各举一个例子并说明判定所需的证据类型。
- [ ] 写出自回归模型的负对数似然目标,说明该目标为何不约束陈述真实性,并指出曝光偏差在训练与推理中的差异。
- [ ] 给定一段上下文与三条断言,手算每条断言的二元组覆盖率,并说明仅用覆盖率会产生的两类误判。
- [ ] 运行本篇代码,把断言「重排模型使用交叉编码器对候选打分」加入测试集,观察判定结果并解释原因。
- [ ] 设计一个包含 100 条样本的忠实性评测方案,说明上下文来源、标注指南、 阈值与置信区间。
- [ ] 列出三种降低幻觉率但会提高拒答率的手段,并用期望效用公式说明阈值应如何随业务代价变化。
参考来源
- Ji et al., "Survey of Hallucination in Natural Language Generation", ACM Computing Surveys, 2023, arXiv:2202.03629 —— 对应本篇第 1 节的内在、外在幻觉切分与第 2 节的成因分类。
- Lewis et al., "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks", 2020, arXiv:2005.11401 —— 对应第 4 节检索增强生成的流程与 RAG-Sequence、RAG-Token 两种形式。
- Asai et al., "Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection", 2023, arXiv:2310.11511 —— 对应第 4 节的后校验与反思式判定,反思 token 分别决定是否检索、判断证据是否相关、判断断言是否被支持、判断整体回答是否有用。
- Gao et al., "Retrieval-Augmented Generation for Large Language Models: A Survey", 2023, arXiv:2312.10997 —— 对应第 5 节的忠实性、答案相关性、上下文相关性三元评估口径。
- Hugging Face Transformers 文档,Generation strategies 章节(temperature、top-k、top-p)—— 对应第 2 节解码层成因与第 4 节解码约束的实现参数。