---
tags: [AI, prompt, llm]
阶段: 06-Prompt与RAG
难度: ★★☆
created: 2026-10-18
related: "[[上下文工程与Few-shot]], [[结构化输出]], [[自回归生成与采样]]"
---

# Prompt工程

## 定义

**提示词**（prompt）是随任务输入一同送入模型的 token 序列 $x=(x_1,\dots,x_{T_x})$，在模型参数 $\theta$ 固定、解码策略固定的条件下，它定义输出的条件分布 $p_\theta(y\mid x)$；**提示工程**（prompt engineering）是在 $\theta$ 与解码器不可修改的前提下，从可行提示集合 $\mathcal{X}$ 中选择 $x$，使任务回报的期望最大的过程，

$$
x^{\star}=\arg\max_{x\in\mathcal{X}}\ \mathbb{E}_{(q,a)\sim\mathcal{D}}\left[R\big(y\sim p_\theta(\cdot\mid x\oplus q)\big)\right],
$$

其中 $q$ 是用户问题，$a$ 是参考输出，$\oplus$ 表示把提示词与问题拼接为单一序列。

符号约定如下。

| 符号 | 含义 |
|---|---|
| $x$ | 提示词 token 序列，长度 $T_x$ |
| $q$、$a$ | 一次任务的问题与参考输出 |
| $y=(y_1,\dots,y_m)$ | 模型输出序列，长度 $m$ |
| $\theta$ | 模型参数，提示工程中保持冻结 |
| $\mathcal{V}$ | 词表，$V=\lvert\mathcal{V}\rvert$ |
| $p_\theta(y_t\mid x,y_{<t})$ | 第 $t$ 步在提示词与前缀条件下的下一 token 分布 |
| $\mathcal{D}$ | 任务输入分布，工程上由评测集近似 |
| $R(\cdot)$ | 任务回报，取 0/1 正确性或分级分数 |
| $B$ | 上下文窗口，$T_x+m\le B$ |
| $k$ | few-shot 示例数量 |
| $r$ | 思维链的推理步数 |
| $m_s$ | 自洽性采样的样本条数 |
| $\mathcal{A}$ | 工具动作空间 |

其余术语在首次出现处定义：**zero-shot** 指提示中只含指令与问题、不含示例；**few-shot** 指提示中含 $k$ 个输入输出示例；**思维链**（chain-of-thought，CoT）指要求模型先输出中间推理步骤再给出答案；**自洽性**（self-consistency）指对同一提示多次采样并对最终答案投票；**ReAct** 指交错生成推理文本与环境动作的提示模式；**提示注入**（prompt injection）指不可信文本中的片段被模型当作指令执行。

## 为什么重要

语言模型的训练目标只有下一 token 预测，推理阶段它就是一个参数固定的函数 $f_\theta$。在不能改参数、不能改权重的前提下，提示词是唯一能改变这个函数输入的变量，因此它直接决定条件分布 $p_\theta(y\mid x)$ 的形状，而不是对输出做一次事后修饰。

缺少结构化提示会产生可量化的后果。若提示只写"回答问题"，输出的支持集同时包含自然语言段落、列表、代码块和 JSON，下游程序无法稳定解析；解析失败后只能重试，重试使期望调用次数按几何级数增长，延迟与费用随之放大。若提示中的约束互相冲突且未定义优先级，模型在冲突点上的行为由训练数据的先验决定，表现为同一系统在不同输入上随机满足其中一条，评测指标方差增大而无法归因。若提示没有版本记录，模型版本升级或提示微调后指标变化无法定位到具体改动。

提示工程在本库中的位置是输入控制层的入口。前置的 [[自回归生成与采样]] 决定了如何从 $p_\theta(y_t\mid x,y_{<t})$ 读出 token，温度与 top-p 的选择会改变同一提示下的输出方差；后续的 [[上下文工程与Few-shot]] 把提示词扩展为预算分配问题，决定放什么、放多少、按什么顺序放；[[结构化输出]] 把格式约束从提示层前移到解码层；[[AI-Agent与工具调用]] 把单轮提示扩展为多轮动作序列；[[RAG原理与流程]] 则把检索文档写入提示词。对应学习目标中的"懂原理"与"会评估"：能写出提示的条件分布形式，能用对照实验判断一次提示修改是否真的有效。

## 原理与推导

### 1 提示词作为条件分布的控制器

自回归模型对输出序列的联合分布做精确分解：

$$
p_\theta(y\mid x)=\prod_{t=1}^{m}p_\theta\big(y_t\mid x,y_{<t}\big).
$$

提示词出现在每个因子的条件项中，因此修改 $x$ 会同时改变乘积中的全部 $m$ 个因子。这一点与"在输入端加一个偏置"有本质区别：偏置只平移 logits，而提示词改变的是每一层的隐状态，进而改变整个条件分布的形状。由此得到两条推论。

第一，提示词没有固定的作用位置。写在开头、中间或结尾的同一句话，通过注意力影响的位置集合不同，效果也不同；这不是实现缺陷，而是条件化的直接结果。第二，不存在可以标定的"提示词强度"。两个提示之间的差异只能用分布距离刻画，例如

$$
D_{\mathrm{KL}}\big(p_\theta(\cdot\mid x_a)\,\Vert\,p_\theta(\cdot\mid x_b)\big)=\sum_{y}p_\theta(y\mid x_a)\log\frac{p_\theta(y\mid x_a)}{p_\theta(y\mid x_b)},
$$

但该求和遍历 $\lvert\mathcal{V}\rvert^{m}$ 条序列，无法精确计算。工程上因此改用行为指标代替分布指标：任务准确率、格式合规率、平均输出长度、拒答率。这些指标是 $D_{\mathrm{KL}}$ 的下游投影，不等价，所以任何单一指标都不足以判断提示优劣。

上下文学习（in-context learning）需要一个可检验的解释。一种假设引入潜在任务变量 $z$，$z$ 编码"输出语言、答案粒度、是否引用来源、是否给出步骤"等未在指令中完全写明的属性，并假设

$$
p(y\mid x)=\int p(y\mid x,z)\,p(z\mid x)\,dz,\qquad p(z\mid x)\propto p(x\mid z)\,p(z).
$$

示例 $\mathcal{D}_k=\{(q_i,a_i)\}_{i=1}^{k}$ 是 $z$ 的证据：示例的格式、长度、语气、答案粒度都在提高某个 $z$ 的后验概率。该假设给出一个可检验推论：当指令与示例冲突时，模型倾向服从示例，因为示例是 $z$ 的似然证据，而指令只是一条先验文本。工程含义是示例的选择与一致性比措辞更关键，这一点在 [[上下文工程与Few-shot]] 中展开。

### 2 指令结构的五元组

一条可维护的提示词通常包含五个字段，每个字段消除一类特定的不确定性。

| 字段 | 作用 | 缺失时的典型失败 |
|---|---|---|
| 角色 | 限定领域、语气与可引用知识的范围 | 输出泛化到无关领域，或给出与系统定位不符的建议 |
| 任务 | 说明输入到输出的映射与判定标准 | 模型自行选择任务，例如把"抽取"做成"总结" |
| 输入 | 用定界符标出数据边界 | 数据中的指令被当作任务指令（见第 7 节） |
| 约束 | 给出可判定的限制条件 | 输出无法被程序校验，或与业务规则冲突 |
| 输出格式 | 规定结构、字段、类型与缺省值 | 下游解析失败，或字段缺失后静默填默认值 |

形式化地，任务定义合法输出集合 $\mathcal{Y}_{\text{task}}$，格式约束定义 $\mathcal{Y}_{\text{fmt}}$，系统实际可接受的是交集

$$
\mathcal{Y}_{\text{ok}}=\mathcal{Y}_{\text{task}}\cap\mathcal{Y}_{\text{fmt}}.
$$

提示词的作用是提高 $p_\theta(\mathcal{Y}_{\text{ok}}\mid x)$，即把概率质量集中到交集上。两个集合中任一为空，提示必然失效：若任务本身无解（资料不足仍要求给出确定结论），模型只能用编造填充；若格式不可满足（要求 20 个字段但输出预算只够 5 个），输出必然被截断。

约束必须可判定，否则无法验证也无法修复。对照如下。

| 不可判定的写法 | 可判定的写法 |
|---|---|
| 回答要简洁 | answer 字段不超过 80 个汉字 |
| 尽量引用资料 | 每个结论后附 [D编号]，citations 至少 1 项 |
| 不确定时不要乱说 | 资料不足时 status 取 insufficient_context，citations 为空数组 |
| 语气专业 | 不使用第一人称，不出现感叹句 |

角色字段的有效性来自训练数据的分布，而不是来自"权重"。指令微调数据中系统段与用户段具有不同的统计特征，把稳定约束放在系统段符合这一分布；把同一句话放在用户段也能生效，但会被后续用户输入覆盖的概率更高。这是分布匹配问题，可以用交换位置的对照实验测量，不需要假设模型"更重视"某一段。

### 3 zero-shot 与 few-shot

zero-shot 的提示形如 $x=(I,q)$，$I$ 为指令；few-shot 的提示形如

$$
x=\big(I,\ (q_1,a_1),\ \dots,\ (q_k,a_k),\ q\big).
$$

三种机制解释给出不同的可检验预测。若机制是任务识别，则示例应覆盖任务空间的多个子类，示例与查询的相似度决定收益；若机制是隐式贝叶斯推断，则示例应近似任务分布，示例数量与分布匹配度决定收益；若机制是模式复制，则示例的格式与查询格式必须逐字符一致，内容正确性影响较小。把示例标签故意改错而保持格式不变，若性能显著下降，说明模型在使用示例内容而非仅复制格式，第一种与第二种解释得到支持。

示例数量的收益是递减的。设单条示例带来的信息量为 $\Delta I(k)$，随 $k$ 增大而减小，而上下文长度 $T_x$ 随 $k$ 线性增长，位置效应与示例间冲突的概率随之上升。经验区间是 4 到 8 条：低于 4 条时任务模式不稳定，高于 8 条时收益常被长度与冲突抵消。该区间依赖任务复杂度与示例长度，必须用对照实验确认。

| 维度 | zero-shot | few-shot |
|---|---|---|
| 提示长度 | 短，$T_x$ 小 | 随 $k$ 线性增长 |
| 格式遵循 | 依赖指令措辞，方差大 | 由示例确定，方差小 |
| 领域适配 | 依赖预训练覆盖 | 可用示例临时适配新领域 |
| 标签泄漏风险 | 无 | 示例与查询过近时答案被直接抄写 |
| 维护成本 | 改一句指令即可 | 需维护示例库、选择策略与顺序 |
| 适用场景 | 通用任务、延迟敏感 | 格式复杂、领域术语多、评测集小 |

### 4 思维链的机制解释与适用条件

CoT 要求模型先输出中间步骤 $z=(z_1,\dots,z_r)$ 再输出答案 $y$，把原来的边缘分布改写为

$$
p_\theta(y\mid x)=\sum_{z}p_\theta(z\mid x)\,p_\theta(y\mid x,z),
$$

采样时用一条或若干条 $z$ 近似该求和。机制解释必须回答"为什么多写一些 token 会提高准确率"。答案是串行计算深度：Transformer 单次前向中，每个 token 的计算图深度固定为 $L$ 层（$L$ 为层数），一次前向能完成的串行操作数有上界；CoT 把中间结果写回上下文，使第 $t$ 步的生成可以条件于前 $t-1$ 步的结果，等效串行深度变为 $O(rL)$。模型本身没有变强，它把一次前向无法完成的计算分摊到 $r$ 次前向。

误差模型给出适用条件的定量形式。设整体一次作答的正确率为 $q$，拆成 $r$ 个步骤后每步正确率为 $p$，且各步错误独立，则全链正确率为 $p^{r}$，CoT 优于直接作答当且仅当

$$
p^{r}>q\quad\Longleftrightarrow\quad p>q^{1/r}.
$$

取 $q=0.40$、$r=4$，阈值为 $0.40^{1/4}=0.7953$。若分解后每步正确率 $p=0.90$，全链为 $0.6561$，优于直接作答；若 $p=0.70$，全链为 $0.2401$，反而更差。这说明收益来自"分解后每一步都足够容易"，而不是分解这个动作本身。若分解出的步骤仍然困难，例如长除法中的多位数心算，CoT 会放大错误。独立性假设在真实模型上不成立，因此该式只用于判断方向与量级，不用于精确预测。

模型规模条件与上式一致。小模型的单步可靠性 $p$ 低，$p^{r}$ 容易低于 $q$，因此会出现"链条流畅但结论错误"的现象；Wei 等的实验报告 CoT 在约千亿参数规模（PaLM 540B、GPT-3 175B）上显著优于标准提示，而在 8B 与 62B 量级的模型上常低于标准提示。规模的作用是通过提高 $p$ 使系统跨过阈值，而不是让模型获得新的推理能力。

| 条件 | 满足时的表现 | 不满足时的表现 |
|---|---|---|
| 任务可分解为子步骤 | 每步难度下降，$p$ 上升 | 步骤之间强耦合，分解无意义 |
| 中间结果可写为文本 | 中间量能落到上下文 | 中间量是隐式的，写了也无用 |
| 单步错误率低 | $p^{r}>q$ | 错误沿链条累积 |
| 模型规模足够 | 指令遵循与计算稳定性足够 | 生成形式正确但数值错误 |
| 输出预算足够 | $r$ 步可完整写出 | 链条被 max_tokens 截断，答案缺失 |
| 延迟可接受 | $r$ 倍 token 成本可承担 | 交互式场景不可用 |

不适用的典型任务包括单跳事实检索、短文本分类、固定模板抽取：这些任务的 $q$ 已经很高，$r$ 步只会增加成本与出错面。步数 $r$ 也不是越大越好：$r$ 增大降低单步难度，同时增加累积错误与 token 成本，存在最优值，应在 $\{1,2,4,8\}$ 上用小规模实验同时测量准确率与平均 token 数。

需要区分 CoT 与"解释"。链条是模型生成的文本，不保证反映其内部计算，模型可能在结论已定的情况下补写一条看似合理的推导。因此链条可以作为提高准确率的手段，不能作为可解释性证据；需要解释时使用 [[可解释性]] 中的方法。

### 5 自洽性

自洽性对同一提示采样 $m_s$ 条完整输出，抽取并规范化最终答案，再取众数：

$$
\hat{y}=\arg\max_{a}\sum_{i=1}^{m_s}\mathbb{1}\big[\mathrm{norm}(y_i)=a\big].
$$

机制是正确路径的收敛性与错误路径的分散性：同一道题的正确解法往往只有少数几种，采样会反复落到同一答案；错误解法种类多，票数被分散。该机制要求答案空间小且可规范化，数值、选项、实体名满足条件，开放式长文本不满足。

在"各条采样相互独立且单条正确率为 $p$"的假设下，多数投票的正确率为

$$
P_{\text{vote}}(m_s,p)=\sum_{k=\lfloor m_s/2\rfloor+1}^{m_s}\binom{m_s}{k}p^{k}(1-p)^{m_s-k}.
$$

取 $p=0.6$，$m_s=1,3,5,7,9$ 时依次为 $0.60000$、$0.64800$、$0.68256$、$0.71021$、$0.73343$。收益递减而成本线性，$m_s=5$ 到 $7$ 是常见的折中点。若 $p<0.5$，投票会放大错误，此时应改用验证器或降低温度重采样。

三个前提常被忽略。第一，采样必须有多样性，温度取 0 时 $m_s$ 条输出几乎相同，投票等价于单次采样。第二，规范化必须确定，`42`、`42.0`、`四十二` 若不归一会被计为三个答案。第三，错误相关性会削弱收益，同一提示下的错误往往同源，实际增益低于二项模型给出的值。

### 6 ReAct 与工具调用提示

ReAct 把生成过程定义为与环境交错的轨迹。设第 $t$ 步的状态为 $s_t=(q,h_{<t},o_{<t})$，其中 $h$ 是推理文本，$o$ 是环境观测；策略先输出思考 $h_t$，再输出动作 $a_t\in\mathcal{A}\cup\{\text{Finish}\}$，环境执行后返回 $o_t$，轨迹在动作为 Finish 时终止。

```mermaid
flowchart LR
    Q[任务输入] --> T[Thought]
    T --> A[Action]
    A --> E[环境执行]
    E --> O[Observation]
    O --> T
    T --> F[Finish 与答案]
```

提示词在 ReAct 中定义三件事：动作空间 $\mathcal{A}$ 及每个动作的参数格式、观测的呈现格式、终止条件与最大步数。三者缺一不可：缺少动作格式则解析器无法识别调用；缺少观测格式则模型无法区分自身生成与环境返回；缺少终止条件则出现重复调用。

ReAct 相对 CoT 的差别在于信息来源。CoT 只能使用参数化知识，无法获取训练截止后的信息，也无法执行精确算术；ReAct 把环境作为外部函数，用观测替换模型的记忆。代价是引入了新的失败模式：动作循环（反复调用同一工具）、观测过长挤占上下文预算、模型编造观测、单步工具错误沿轨迹传播。工程上必须由解析器强制校验动作格式，把工具错误作为观测返回而不是抛出异常终止轨迹，并设置最大步数与重复调用检测。

提示层与协议层可以叠加。ReAct 是提示模式，工具调用 API 是协议机制，后者提供 schema 校验、结构化参数与并行调用；两者结合时，模型输出结构化的调用对象，运行时校验后执行，结果以结构化消息返回。该部分在 [[AI-Agent与工具调用]] 中展开，编排与终止条件在 [[Agent工作流与编排]] 中展开。

### 7 提示注入与防御基础

提示注入的根因是结构性的：指令与数据共享同一条 token 通道，注意力机制没有类型系统，模型无法从表示上区分"这段文字由系统写入"与"这段文字来自网页"。在序列层面，二者都是条件项中的 token，区别只来自位置与训练数据中的格式先验，而先验可以被伪造。

按注入载体分为两类。直接注入由用户输入携带，例如要求模型忽略前述约束；间接注入由模型读取的外部内容携带，包括检索文档、网页正文、工具返回结果、代码注释、文件名。间接注入的危险性更高，因为用户看不到被注入的文本，且系统通常对有检索能力的模型开放了工具权限。

防御是分层的，每一层都只降低成功率，不能归零。

| 层次 | 措施 | 作用与局限 |
|---|---|---|
| 结构隔离 | 定界符、字段标签、显式优先级声明 | 降低误判率，无法阻止伪造标签的内容 |
| 权限最小化 | 工具白名单、只读凭据、副作用二次确认 | 限制成功注入后的影响面，不阻止注入本身 |
| 输入过滤 | 已知模式匹配、来源可信度评分 | 只能覆盖已知模式，易被改写绕过 |
| 输出校验 | schema 校验、敏感信息检测、引用核对 | 拦截部分外泄与越权结果 |
| 架构隔离 | 隔离模型只读不可信内容且无工具权限，主模型只接收结构化结果 | 成本高，需拆分任务 |
| 监控 | 异常工具调用率、注入检测器、审计日志 | 事后发现，不能实时阻断 |

必须明确残余风险：只要模型读取不可信文本并且拥有副作用权限，注入就存在成功可能。安全目标是降低成功率与影响范围，而不是证明不存在注入。与模型对齐层面的攻防关系见 [[越狱与安全对齐]]。

### 8 提示词失效的六类原因

| 类型 | 可观察信号 | 根因 | 修复手段 |
|---|---|---|---|
| 歧义 | 同一提示在等价输入上输出结构不同 | 指令存在多种合理解释 | 给出判定标准、边界示例、字段级定义 |
| 约束冲突 | 输出随机满足其中一条约束 | 两条约束在同一输入上不可同时满足，且未定义优先级 | 显式优先级、冲突时的缺省行为 |
| 超出上下文 | 关键指令或资料被截断，输出答非所问 | $T_x+m>B$，截断位置落在关键段 | 预算模型、压缩、分段处理，见 [[上下文工程与Few-shot]] |
| 格式过严 | 解析失败率高，重试后仍失败 | 约束不可满足或模型未见过的结构 | 简化 schema、提供示例、改用约束解码，见 [[结构化输出]] |
| 分布外任务 | 换领域后准确率骤降，示例无效 | 任务不在预训练与指令微调覆盖内 | 分解任务、few-shot、微调或外部工具 |
| 评测偏差 | 离线指标高、线上指标低 | 在测试集上调提示、指标只测格式、评委偏好长答案 | 留出集、双指标、人工抽检 |

六类原因的处理顺序是先排除第三类与第四类，因为这两类由预算与语法决定，与模型能力无关，修复成本最低；再处理第一类与第二类，它们决定输出空间；最后处理第五类，它需要改模型或改系统；第六类贯穿全程，任何提示迭代都必须先有可信的评测集。

### 9 提示词版本管理与 A/B 评估

提示词应作为代码资产管理，最小字段集如下。

| 字段 | 示例 | 用途 |
|---|---|---|
| prompt_id | rag_answer_v3 | 唯一标识 |
| template_hash | sha256 前 12 位 | 检测未记录的修改 |
| model | 具体模型与版本号 | 归因模型漂移 |
| decoding | temperature、top_p、max_tokens | 复现实验 |
| eval_set_version | eval_2026_10 | 保证比较基线一致 |
| metrics | 准确率、格式合规率、平均 token、P95 延迟 | 决策依据 |

A/B 评估需要两个独立样本上的比例检验。设两版本成功率估计为 $\hat{p}_A,\hat{p}_B$，样本量为 $n_A,n_B$，合并比例 $\hat{p}=(x_A+x_B)/(n_A+n_B)$，检验统计量为

$$
z=\frac{\hat{p}_A-\hat{p}_B}{\sqrt{\hat{p}(1-\hat{p})\left(\frac{1}{n_A}+\frac{1}{n_B}\right)}}.
$$

样本量按双侧显著性水平 $\alpha$ 与检验功效 $1-\beta$ 估计：

$$
n=\frac{(z_{1-\alpha/2}+z_{1-\beta})^{2}\left[p_A(1-p_A)+p_B(1-p_B)\right]}{(p_A-p_B)^{2}}.
$$

取 $p_A=0.70$、$p_B=0.76$、$\alpha=0.05$、$1-\beta=0.8$，则 $z_{1-\alpha/2}=1.96$、$z_{1-\beta}=0.8416$，分子为 $7.849\times0.3924=3.080$，分母为 $0.06^{2}=0.0036$，得到 $n\approx856$，即每臂至少 856 条样本才能检出 6 个百分点的差异。样本量不足时观察到的差异主要来自噪声。

三个操作约束。第一，提示迭代与评测集必须分离：在同一测试集上连续调参超过若干轮后，指标反映的是对该集合的过拟合，需要新的留出集。第二，比较必须同时报告质量与成本，一个把准确率提高 1 个百分点但使 token 增长 3 倍的版本，在多数业务中不可接受。第三，注意顺序效应与缓存：同一会话中切换版本会污染上下文，提示缓存会掩盖模板改动。模型升级属于同一类问题，升级后必须重跑全部回归集，因为提示与模型是联合起作用的，二者不可分开评估。

## 关键直觉

> [!tip] 提示词不改变模型参数，它改变的是给定条件下输出的概率质量分布：结构化指令用显式约束缩小可接受输出集合，思维链用串行 token 换取串行计算深度，自洽性用采样方差换取对单条路径错误的鲁棒性。
>
> 与严格定义的关系：定义中的 $\mathcal{Y}_{\text{ok}}$ 给出"约束把概率质量推向何处"，$p^{r}>q$ 给出"分解在什么条件下有收益"，$\mathbb{1}[\mathrm{norm}(y_i)=a]$ 给出"多次采样如何合并"。三者分别对应提示词的三个可操作维度——写清约束、要求步骤、重复采样——而不是三种修辞技巧。

## 例子与代码

### 例 1：结构化提示模板与校验

下面的模板把五元组写成固定段落，并用编号约束 C1 至 C4 给出可判定规则。运行时只需替换资料与问题两个槽位。

```python
# Python 3.12，仅用标准库
TEMPLATE = """[角色]
你是技术文档问答助手，只依据 [资料] 回答。

[任务]
回答 [问题]，并按 [输出格式] 返回单个 JSON 对象。

[资料]
{context}

[问题]
{question}

[约束]
C1 每个结论必须附资料编号，格式为 [D<数字>]。
C2 资料未覆盖时，answer 填 "无法从给定资料确定"，citations 填 []。
C3 不得引入 [资料] 之外的来源。
C4 只输出 JSON 对象，不加解释文字，不加代码块围栏。

[输出格式]
{{"answer": string, "citations": string[], "confidence": number}}"""

prompt = TEMPLATE.format(
    context="[D1] KV 缓存复用已计算的键值张量，避免解码阶段逐 token 重算。\n"
            "[D2] 分组查询注意力让多个查询头共享一组键值头，降低键值显存占用。",
    question="KV 缓存与 GQA 分别解决什么问题？",
)
print(prompt)
```

```text
[角色]
你是技术文档问答助手，只依据 [资料] 回答。

[任务]
回答 [问题]，并按 [输出格式] 返回单个 JSON 对象。

[资料]
[D1] KV 缓存复用已计算的键值张量，避免解码阶段逐 token 重算。
[D2] 分组查询注意力让多个查询头共享一组键值头，降低键值显存占用。

[问题]
KV 缓存与 GQA 分别解决什么问题？

[约束]
C1 每个结论必须附资料编号，格式为 [D<数字>]。
C2 资料未覆盖时，answer 填 "无法从给定资料确定"，citations 填 []。
C3 不得引入 [资料] 之外的来源。
C4 只输出 JSON 对象，不加解释文字，不加代码块围栏。

[输出格式]
{"answer": string, "citations": string[], "confidence": number}
```

模板做三件事：用方括号段落把五元组分开，使每一段的作用可单独替换；把约束编号，使失败时可以引用具体条目（"未满足 C1"）而不是笼统地说"格式不对"；把输出格式写成类型签名而非自然语言。若去掉约束编号，重试提示只能复述整段要求，模型难以定位违反项；若把格式写成"用 JSON 回答"，模型可能输出带代码围栏的 JSON 或附加解释文字，解析器需要额外处理。

`TEMPLATE.format` 中的双花括号是转义，输出为单花括号；若直接写单花括号，`str.format` 会把它当作占位符并抛出 `KeyError`。生产实现通常改用 `string.Template` 或 Jinja2，以避免与 JSON 语法冲突。

校验函数按字段逐项检查，返回错误列表而不是布尔值，因为重试提示需要具体错误。

```python
import json
import re

REQUIRED = {"answer", "citations", "confidence"}
CITATION = re.compile(r"^\[D\d+\]$")

def validate(obj):
    errors = []
    if not isinstance(obj, dict):
        return ["根节点必须是 JSON 对象"]
    missing, extra = REQUIRED - set(obj), set(obj) - REQUIRED
    if missing:
        errors.append(f"缺少字段 {sorted(missing)}")
    if extra:
        errors.append(f"多余字段 {sorted(extra)}")
    answer = obj.get("answer")
    if not isinstance(answer, str) or not answer.strip():
        errors.append("answer 必须是非空字符串")
    citations = obj.get("citations")
    if not isinstance(citations, list) or any(not isinstance(c, str) for c in citations):
        errors.append("citations 必须是字符串列表")
    elif any(CITATION.match(c) is None for c in citations):
        errors.append("citations 元素必须形如 [D1]")
    confidence = obj.get("confidence")
    if isinstance(confidence, bool) or not isinstance(confidence, (int, float)):
        errors.append("confidence 必须是数值")
    elif not 0.0 <= confidence <= 1.0:
        errors.append("confidence 必须落在 [0,1]")
    if isinstance(answer, str) and answer.strip() and citations == [] \
            and "无法从给定资料确定" not in answer:
        errors.append("有结论但 citations 为空")
    return errors

RAW = [
    '{"answer": "KV 缓存避免逐 token 重算 [D1]；GQA 降低键值显存 [D2]。", "citations": ["[D1]", "[D2]"], "confidence": 0.82}',
    '{"answer": "KV 缓存复用键值 [D1]", "citations": ["[D1]",], "confidence": 0.7}',
    '{"answer": "GQA 降低显存 [D2]", "citations": ["D2"], "confidence": 82, "source": "web"}',
    '{"answer": "KV 缓存与 GQA 都属于推理优化。", "citations": [], "confidence": 0.9}',
]

for i, raw in enumerate(RAW, 1):
    try:
        obj = json.loads(raw)
    except json.JSONDecodeError as exc:
        print(f"样本 {i}: 解析失败 msg={exc.msg!r} pos={exc.pos} line={exc.lineno} col={exc.colno}")
        continue
    errs = validate(obj)
    print(f"样本 {i}: 解析成功 错误数={len(errs)}")
    for e in errs:
        print("   -", e)
```

```text
样本 1: 解析成功 错误数=0
样本 2: 解析失败 msg='Expecting value' pos=50 line=1 col=51
样本 3: 解析成功 错误数=3
   - 多余字段 ['source']
   - citations 元素必须形如 [D1]
   - confidence 必须落在 [0,1]
样本 4: 解析成功 错误数=1
   - 有结论但 citations 为空
```

四类失败被分别捕获：样本 2 是语法层失败，`json.loads` 在位置 50 遇到 `]`，因为数组末尾多了逗号，这类错误只能由解析器发现；样本 3 触发三条规则错误，其中 `confidence: 82` 在 Python 中能正常解析，是典型的"语法正确、语义越界"；样本 4 是语义层失败，JSON 与字段类型全部合法，但结论没有引用，违反 C1。若校验函数只返回 `True/False`，重试提示无法指出具体字段，模型只能整体重写，收敛更慢。

`isinstance(confidence, bool)` 的判断必须先于数值判断，因为 Python 中 `True` 是 `int` 的子类，`True` 会通过 `0 <= x <= 1` 的检查并在下游被当作 1.0 使用。这类类型陷阱在 JSON 校验中常见，`null`、字符串数字、布尔值都需要显式排除。

### 例 2：自洽性投票与思维链阈值的手算

以下代码复现第 4 节与第 5 节的数值，可直接与手算结果对照。

```python
from collections import Counter
from math import comb

samples = ["42", "42", "40", "42", "40", "42"]
counts = Counter(samples)
winner, votes = counts.most_common(1)[0]
print("计数", dict(counts), "票数", votes, "答案", winner)

def majority_accuracy(p, m):
    return sum(comb(m, k) * p**k * (1 - p)**(m - k) for k in range(m // 2 + 1, m + 1))

for m in (1, 3, 5, 7, 9):
    print(f"m={m} 单条正确率0.6 时多数投票正确率={majority_accuracy(0.6, m):.5f}")

q, r = 0.40, 4
threshold = q ** (1 / r)
print(f"\n整体一次答对率 q={q}，拆成 r={r} 步时每步最低正确率={threshold:.4f}")
for p in (0.70, 0.80, 0.90, 0.95):
    print(f"  每步 p={p} -> 全链正确率 p^r={p**r:.4f}，优于直接作答: {p**r > q}")
```

```text
计数 {'42': 4, '40': 2} 票数 4 答案 42
m=1 单条正确率0.6 时多数投票正确率=0.60000
m=3 单条正确率0.6 时多数投票正确率=0.64800
m=5 单条正确率0.6 时多数投票正确率=0.68256
m=7 单条正确率0.6 时多数投票正确率=0.71021
m=9 单条正确率0.6 时多数投票正确率=0.73343

整体一次答对率 q=0.4，拆成 r=4 步时每步最低正确率=0.7953
  每步 p=0.7 -> 全链正确率 p^r=0.2401，优于直接作答: False
  每步 p=0.8 -> 全链正确率 p^r=0.4096，优于直接作答: True
  每步 p=0.9 -> 全链正确率 p^r=0.6561，优于直接作答: True
  每步 p=0.95 -> 全链正确率 p^r=0.8145，优于直接作答: True
```

手算核对：$m=5$、$p=0.6$ 时，5 票中至少 3 票正确的概率为 $\binom{5}{3}(0.6)^3(0.4)^2+\binom{5}{4}(0.6)^4(0.4)+\binom{5}{5}(0.6)^5=0.3456+0.2592+0.07776=0.68256$，与输出一致。CoT 阈值一项：$0.4^{1/4}=\sqrt{0.6325}=0.7953$，每步 0.8 时全链 0.4096，仅比直接作答高 0.0096，说明"刚好过线"的分解没有实际价值，必须留出余量。

第一段代码没有对答案做规范化，若样本中同时出现 `"42"` 与 `"42.0"`，两者会被计为不同答案，投票结果偏向出现次数多的写法而不是语义相同的答案。第二段代码的 `p**r` 假设各步独立，实际模型的错误相关，因此该值只能作为上界参考。

## 易错点

> [!warning] 以下六条均可在运行结果或对照实验中直接检验。
> 1. 把提示词当作"让模型更聪明的指令"：提示词只改变条件分布，不改变参数量与单次前向的计算深度。若任务超出模型能力，加长提示不会产生正确结果，只会产生更流畅的错误答案。
> 2. 认为 CoT 对所有模型规模都有效：小模型的单步正确率 $p$ 低，$p^{r}<q$ 时 CoT 反而降低准确率，且生成的链条会掩盖错误来源。上线前必须按模型分别测量。
> 3. 在温度 0 下做自洽性投票：全部样本几乎相同，投票等价于单次采样，成本增加而指标不变。自洽性要求采样温度大于 0 且答案空间可规范化。
> 4. 把约束写成不可判定的自然语言：`回答要准确` 无法被程序检验，也无法在重试提示中定位。每条约束都应能映射为一个断言或一段校验代码。
> 5. 让模型生成观测：在 ReAct 轨迹中，若提示未明确"观测由系统写入"，模型会自行补写工具返回结果，形成自洽的幻觉。解析器必须拒绝模型输出的观测段。
> 6. 在测试集上迭代提示并报告该集合的指标：这等价于用测试集训练，指标随迭代次数单调上升而线上效果不变。提示迭代必须使用与最终评测分离的留出集。

## 关联笔记

- 前置 [[自回归生成与采样]]：温度、top-k、top-p 决定如何从 $p_\theta(y_t\mid x,y_{<t})$ 读出 token，本篇的方差分析与自洽性收益都以该篇的采样机制为前提。
- 后续 [[上下文工程与Few-shot]]：把本篇的提示词扩展为预算约束下的组件装配问题，给出示例选择、顺序与压缩的具体方法。
- 后续 [[结构化输出]]：把本篇第 2 节的输出格式约束从"提示层要求"推进到"解码层保证"，并给出 schema 定义与校验重试。
- 后续 [[AI-Agent与工具调用]]：本篇第 6 节的动作空间与观测格式在该篇展开为完整的调用协议与运行时校验。
- 对照 [[越狱与安全对齐]]：本篇第 7 节讨论注入的架构防御，该篇讨论模型层面的对齐失效与红队方法，两者的威胁模型不同但共享"指令与数据不可区分"这一根因。

## 达标检测

- [ ] 写出 $p_\theta(y\mid x)$ 的分解式，解释为什么修改 $x$ 会同时改变全部 $m$ 个因子，并说明 $D_{\mathrm{KL}}$ 无法直接计算的原因。
- [ ] 给定 $q=0.35$、$r=5$，计算 CoT 的每步正确率阈值，并判断 $p=0.85$ 与 $p=0.75$ 两种情形是否应使用 CoT。
- [ ] 取 $m_s=9$、$p=0.65$，用二项公式计算多数投票正确率，并与 $m_s=5$ 的结果比较，说明收益与成本的关系。
- [ ] 为一个具体任务写出五元组提示，使每条约束都能对应到 `validate` 函数中的一条断言。
- [ ] 用 `validate` 函数检查一条 `confidence` 为字符串 `"0.9"` 的输出，说明它被拦截在哪一条规则，并给出修复后的 JSON。
- [ ] 给定一条含检索文档的提示，设计至少两层针对间接注入的防御，并说明每层能被何种方式绕过。

## 参考来源

- Wei et al., "Chain-of-Thought Prompting Elicits Reasoning in Large Language Models", arXiv:2201.11903, 2022 —— 对应第 4 节的 CoT 机制、模型规模条件与算术推理实验结果。
- Yao et al., "ReAct: Synergizing Reasoning and Acting in Language Models", arXiv:2210.03629, 2022 —— 对应第 6 节的 Thought/Action/Observation 轨迹形式化与动作空间定义。
- Anthropic, "Prompt Engineering" 官方文档 —— 对应第 2 节五元组结构、定界符写法与第 8 节的失效模式清单。
- Ouyang et al., "Training language models to follow instructions with human feedback", arXiv:2203.02155, 2022 —— 对应第 2 节系统段与用户段的分布差异，以及指令遵循能力的来源。
- 张奇等《大规模语言模型：从理论到实践》第 5 章 —— 对应第 3 节 zero-shot 与 few-shot 的提示组织方式与第 9 节的评估流程。
