---
tags: [AI, 方法论, 论文精读]
阶段: 09-评估安全与前沿
难度: ★★☆
created: 2026-10-18
related: "[[模型评估矩阵]], [[模型评估与交叉验证]], [[AI技术动态追踪]]"
---

# 论文阅读法

## 定义

**三遍阅读法**（three-pass reading）是一种把单篇论文的阅读过程切分为三个固定顺序阶段的方法：每个阶段有独立的时间上限、独立的阅读对象集合与独立的输出物，只有前一个阶段的输出满足进入条件时，才启动下一个阶段。该方法衡量的是每个阶段结束时是否产出了规定的结构化对象，而不是读完了多少页。

各术语与符号定义如下。

- **第一遍**（first pass）：时间上限 $t_1=10$ 分钟。阅读对象为标题、摘要、全部图表及其图注、结论，以及各节标题。输出物为「一句话贡献」与「贡献类型」。此阶段不读方法正文，不做公式推导。
- **第二遍**（second pass）：时间上限 $t_2=60$ 分钟。阅读对象为方法、实验设置、结果表、假设与相关工作。输出物为「方法骨架」与「证据表」。
- **第三遍**（third pass）：时间下限 $t_3=120$ 分钟。阅读对象为公式重推、实现细节、附录与源代码。输出物为「可复现清单」与「批判清单」。
- **主张**（claim）：论文中一句可被证据支持或否证的陈述。关键主张的集合记为 $\mathcal{C}=\{c_1,\dots,c_\kappa\}$，$\kappa$ 为关键主张数。
- **证据链**（evidence chain）：从主张到实验、从实验到指标、从指标到数值的三段映射。任一段缺失，该主张即无支撑。
- **贡献类型**（contribution type）：论文的主要产出所属的类别，取新问题、新方法、新数据或基准、新分析、系统实现五类之一。
- **一句话贡献**（one-sentence contribution）：用一句同时包含问题、机制、可测数值与代价的陈述压缩论文的主要产出，缺任一要素即不合格。
- **方法骨架**（method skeleton）：方法的最小结构描述，由输入输出、数据流、参数化、目标函数、训练过程、推理过程六个字段构成，每个字段必须给出可核对的形状、数量或配置。
- **证据表**（evidence table）：主张与实验的逐行对应表，每行给出一条主张、支持它的实验、所用指标、对比基线、数值、方差与是否支持的判定。
- **消融**（ablation）：在保持其它因素不变的前提下移除或替换某一组件，测量该组件的边际影响。
- **误差棒**（error bar）：与点估计同时报告的不确定性度量，常用独立随机种子间的标准差 $s$，或均值的标准误 $s/\sqrt{n_{\text{seed}}}$。
- **效应量**（effect size）：两个配置的均值差，$\Delta=\bar x_B-\bar x_A$。
- **外部效度**（external validity）：结论在原始实验分布之外成立的程度。
- **可复现单元**（reproduction unit）：可独立验证的最小配置，由数据版本、数据划分、超参数、随机种子、评测脚本五项构成。
- $n_{\text{seed}}$：独立随机种子的个数；$z$：标准正态分位数，置信水平 95% 时取 $z=1.96$；$m$：同一批实验中被同时检验的配置个数；$\alpha$：显著性水平，常用值为 0.05。

## 为什么重要

论文阅读的成本结构与信息供给量不匹配。单篇论文按第三遍强度处理需要 6 至 10 小时，其中公式重推与复现准备占主要部分；而一个活跃方向每周新增的相关预印本可达数十篇。若对所有论文采取同一强度，时间预算只能覆盖其中很小一部分，其余论文要么被完全忽略，要么以「读过摘要」的强度处理而进入错误的结论。

无协议的阅读有四类可观测的失效。

第一，只读摘要使作者的主张直接成为读者的结论。摘要是论点的陈述，不是证据；摘要中不出现基线选择、数据划分、方差与失败条件。

第二，读方法不读实验，无法判断改进来源。方法描述给出机制，只有对照实验能区分「机制有效」与「算力更多、数据更多、调参更久」。

第三，不记录假设，复现时在错误的条件下复现。论文的有效范围由假设界定，假设通常写在方法小节末尾、附录或限制讨论中；跳过这些位置，会在分布外条件下复现并得出「方法无效」的结论。

第四，不做批判，把单榜最优当作普适最优。榜单分数受数据污染、指标口径与提示设置影响，未经审计的分数不能直接迁移到部署条件。

在本笔记库中的位置：本篇承接 [[模型评估矩阵]] 的统计口径，把置信区间与污染检测用于单篇论文的证据审计；它为 [[AI技术动态追踪]] 提供「是否值得深读」的判据；其第 9 节的复现检查表与 [[端到端项目模板]] 的实验记录字段对应。

## 原理与推导

### 1. 三遍协议的结构

设候选论文集合为 $P$，三项时间预算为 $\boldsymbol b=(t_1,t_2,t_3)$。协议由三个映射构成：

$$
R_1:P\to A_1\cup\{\bot\},\qquad R_2:A_1\to A_2\cup\{\bot\},\qquad R_3:A_2\to A_3
$$

其中 $A_1$ 为「一句话贡献 + 贡献类型 + 相关性判定」，$A_2$ 为「方法骨架 + 证据表 + 假设清单」，$A_3$ 为「可复现清单 + 批判清单」，$\bot$ 表示终止。$R_1$ 的终止由三个二分问句决定：问题是否与当前任务相关、方法是否可在既有算力预算内复现、结果是否改变已有基线。三者皆为否时终止。

设论文以概率 $q_1$ 通过第一遍、以概率 $q_2$ 通过第二遍，则单篇的期望耗时

$$
\mathbb{E}[t]=t_1+q_1t_2+q_1q_2t_3
$$

取 $q_1=0.2$、$q_2=0.2$，得 $\mathbb{E}[t]=10+12+4.8=26.8$ 分钟；若每篇都按第三遍处理，耗时为 $10+60+120=190$ 分钟。两者比值约 7:1。该比值说明三遍法的收益来自终止判据，而不是每遍读得更快。

| 遍次 | 时间 | 阅读对象 | 输出物 | 进入下一遍的条件 |
|---|---|---|---|---|
| 第一遍 | 5–10 分钟 | 标题、摘要、图表与图注、结论、节标题 | 一句话贡献、贡献类型 | 三个二分问句不全为否 |
| 第二遍 | 30–60 分钟 | 方法、实验、假设、相关工作 | 方法骨架、证据表 | 证据链无断点，或断点可在第三遍检验 |
| 第三遍 | 120 分钟以上 | 公式、附录、代码 | 可复现清单、批判清单 | 不设，按需完成 |

### 2. 第一遍：终止判据

第一遍的阅读顺序固定为标题、摘要、图表与图注、结论，最后扫一遍各节标题。先读图表的原因是可检验：图通常编码了作者声称的机制，表通常编码了主结果与对比基线，图注中写明了数据集、指标与设置。方法正文中的措辞可以模糊，图表中的坐标轴与表头不能。

第一遍禁止三种动作：进入方法正文、抄录段落、推导公式。这三种动作都会把预算消耗在相关性尚未确认的论文上。

一句话贡献的模板为：

> 在<任务或问题>上，用<机制>替代或扩展<基线机制>，在<数据集>上把<指标>从<数值>变为<数值>，代价是<成本变化>。

模板强制四项信息：问题、机制、可测数值、代价。缺少数值时，贡献类型应标为「新分析」，并在模板中写明分析了什么量、得到什么可检验的结论，而不是用「效果显著」替代数值。

以 Transformer 为例，第一遍可写出：在 WMT 2014 英德翻译上，用多头自注意力替换循环结构，BLEU 从 26.36 变为 28.4，代价是注意力计算随序列长度平方增长。该句已含四个要素，可据此判断是否与当前任务相关。

### 3. 第二遍：方法骨架与证据表

方法骨架固定六个字段。字段缺失即视为第二遍未完成。

| 字段 | 记录内容 | 缺失后果 |
|---|---|---|
| 输入输出 | 每个张量的名称与形状，含批、序列、特征维 | 无法判断改动作用在哪一维 |
| 数据流 | 从输入到输出的每一步变换及其顺序 | 无法定位消融对应的组件 |
| 参数化 | 可学习参数及数量，含与基线的差值 | 无法区分改进与参数增加 |
| 目标函数 | 损失项、权重、辅助损失 | 无法判断训练目标是否与主张一致 |
| 训练过程 | 优化器、学习率调度、批大小、训练步数 | 无法对齐复现预算 |
| 推理过程 | 解码或前向方式、复杂度 | 无法估计部署成本 |

证据表每行对应一条主张，列固定为：主张、实验、指标、基线、数值、方差、是否支持。该表的作用是把「作者说的」与「表里量的」分开。行数应等于关键主张数 $\kappa$；行数明显少于集合 $\mathcal{C}$ 的元素个数时，说明部分主张未被检验。当某条主张在表中找不到对应行时，该主张视为未验证。

### 4. 如何读公式

读公式分四步，顺序不可交换。

第一步建立符号表：公式中每个符号的类型（标量、向量、矩阵、集合、函数）、形状、取值域与来源。来源包括数据、参数、超参数、随机变量四类；混用会导致把超参数当作可学习量。

第二步做维度检查：把每个符号的形状代入等式两侧逐项核对。矩阵乘法要求内维相等，求和要求索引被消耗，广播要求维度可对齐。维度不匹配的公式在实现中必然出错。

第三步提取假设：公式成立所依赖的独立性、同分布、线性、可微、无偏等条件。假设通常写在公式前的「设」与公式后的「其中」，也常以脚注给出。

第四步界定边界条件：变量趋于零或无穷、维度取一、掩码全为零、序列长度为一等退化情形下的行为。

以缩放点积注意力说明四步的实际用法。公式为

$$
\mathrm{Attn}(\boldsymbol Q,\boldsymbol K,\boldsymbol V)=\mathrm{softmax}\!\left(\frac{\boldsymbol Q\boldsymbol K^\top}{\sqrt{d_k}}\right)\boldsymbol V
$$

符号表：$\boldsymbol Q\in\mathbb{R}^{n\times d_k}$ 为查询矩阵，$n$ 为查询位置数；$\boldsymbol K\in\mathbb{R}^{m\times d_k}$ 为键矩阵，$m$ 为被查询位置数；$\boldsymbol V\in\mathbb{R}^{m\times d_v}$，$d_v$ 为值维度；$d_k$ 为每个头的键维度；$\boldsymbol Q\boldsymbol K^\top\in\mathbb{R}^{n\times m}$ 为未归一化的相似度。

维度检查：$\boldsymbol Q\boldsymbol K^\top$ 的内维同为 $d_k$，结果形状为 $n\times m$；softmax 按行归一化，不改变形状；右乘 $\boldsymbol V$ 的内维为 $m$，结果为 $n\times d_v$。

除以 $\sqrt{d_k}$ 的理由可由方差计算得到。设 $\boldsymbol q,\boldsymbol k$ 的分量独立同分布，均值为零、方差为一，则

$$
\mathbb{E}[\boldsymbol q^\top\boldsymbol k]=\sum_{i=1}^{d_k}\mathbb{E}[q_ik_i]=0,\qquad
\mathrm{Var}(\boldsymbol q^\top\boldsymbol k)=\sum_{i=1}^{d_k}\mathbb{E}[q_i^2]\,\mathbb{E}[k_i^2]=d_k
$$

故内积的标准差为 $\sqrt{d_k}$。若不缩放，$d_k$ 增大时 logits 的量级随之增大，softmax 输出趋于 one-hot，其雅可比矩阵趋于零，梯度消失。除以 $\sqrt{d_k}$ 使 logits 在上述假设下方差为一，softmax 工作在非饱和区。

该推导的假设需要记录：分量独立、零均值、单位方差。真实训练中 $\boldsymbol q,\boldsymbol k$ 的方差由前一层权重初始化与归一化方式决定，并不严格为一，因此 $\sqrt{d_k}$ 是量级校正而非精确归一化。这一条属于第三步的假设，写入笔记时不能省略。

### 5. 如何读实验

基线公平性有五个可核对维度。逐项核对后，才能把分数差归因于方法。

| 维度 | 公平条件 | 常见违规 |
|---|---|---|
| 训练数据 | 同数据集、同规模、同过滤规则 | 基线用旧版数据，方法用更大数据 |
| 计算预算 | 同浮点运算量、同步数或同墙钟时间 | 方法训练更久，未对齐步数 |
| 调参预算 | 同搜索空间与搜索次数 | 方法精调，基线用默认超参数 |
| 评测协议 | 同脚本、同提示、同解码参数 | 方法使用更宽松的答案抽取 |
| 模型规模 | 同参数量，或明确标注不同 | 用更大模型与更小基线比较 |

消融充分性有三个层次：单组件移除、等参数量对照、更强基线对照。单组件移除回答「该组件是否必要」；等参数量对照回答「改进是否只是参数更多」；更强基线对照回答「改进是否只相对弱基线成立」。三层中缺任一层，结论的可迁移性都下降。

指标与主张的匹配需逐句核对。若主张为「推理能力提升」，而指标是模板化数学题的最终数值匹配，则指标只覆盖答案正确率，未覆盖推理步骤；此时应补充过程级评分，或至少在结论中限定范围。

误差棒的处理有明确规则。设两组分别为 $\bar x_A\pm s_A$（$n_A$ 个种子）与 $\bar x_B\pm s_B$（$n_B$ 个种子），差值标准误为

$$
\mathrm{SE}_\Delta=\sqrt{\frac{s_A^2}{n_A}+\frac{s_B^2}{n_B}},\qquad z_\Delta=\frac{\Delta}{\mathrm{SE}_\Delta}
$$

当 $|z_\Delta|<1.96$ 时，在 95% 水平上不能拒绝「两组同分布」。取 $\bar x_A=71.2$、$s_A=0.9$、$n_A=3$，$\bar x_B=72.5$、$s_B=1.1$、$n_B=3$，得 $\mathrm{SE}_\Delta=0.821$、$z_\Delta=1.58$，差值 1.3 个百分点不可区分。同一差值在 $n_B=5$ 时 $z_\Delta=1.82$，仍不可区分；若标准差换为 2.4 与 2.1，$z_\Delta=0.71$。三种情形说明：只报均值不足以支持「B 优于 A」。

当一次实验中同时检验 $m$ 个配置时，显著性水平需按 $\alpha/m$ 校正；否则 $m$ 增大时，至少出现一个假阳性的概率随 $m$ 上升。

### 6. 贡献类型判定

| 类型 | 判定问句 | 最低证据 | 常见夸大 | 阅读重心 |
|---|---|---|---|---|
| 新问题 | 是否给出形式化定义与可解性讨论 | 定义、至少一个基线、评价方式 | 把已有问题改名 | 定义与假设 |
| 新方法 | 是否与最强基线同口径比较 | 同口径主结果、消融、方差 | 只与弱基线比较 | 机制与消融 |
| 新数据或基准 | 构造流程与标注一致性是否可查 | 构造说明、一致性统计、污染检查 | 基准与训练集同源 | 构造与效度 |
| 新分析 | 是否有可检验假设与控制变量 | 识别策略、统计检验 | 把相关性叙述为因果 | 识别策略 |
| 系统实现 | 端到端成本与配置是否完整 | 吞吐、延迟、硬件与配置 | 只报最优配置 | 配置与瓶颈 |

一篇论文可以同时属于多类，但一句话贡献必须指定主类型，否则无法确定应当用哪一层证据检验它。

### 7. 批判性问题清单

| 类别 | 问题 | 检验动作 | 答案为否的后果 |
|---|---|---|---|
| 假设 | 关键假设是否被单独检验 | 找到对应消融或附录实验 | 结论只在未声明的条件下成立 |
| 假设 | 假设在目标分布上是否成立 | 在自有数据上复测分布统计量 | 迁移时性能不可预测 |
| 替代解释 | 提升是否来自数据或算力 | 对齐步数与数据规模的对照 | 归因错误，方法不可复用 |
| 替代解释 | 提升是否来自调参 | 用同一搜索预算重跑基线 | 差值在公平设置下消失 |
| 外部效度 | 是否只在单一数据集或语言上验证 | 换数据集、换语言、换规模 | 结论范围被高估 |
| 外部效度 | 规模结论是否被外推 | 检查最大规模与拟合区间 | 更大模型上收益反转 |
| 计算成本 | 训练与推理成本是否报告 | 复算浮点运算量与显存 | 方法在预算内不可用 |
| 统计 | 种子数与误差棒是否足够 | 用第 5 节公式复核 | 差值落在噪声内 |

### 8. 笔记模板

模板以字段为单位，每个字段有唯一的验收标准。

```markdown
标题：{{标题}}（{{年份}}，{{来源}}）

- 编号：{{arXiv 编号或会议}}
- 贡献类型：新问题 / 新方法 / 新数据 / 新分析 / 系统
- 遍次：第一遍 / 第二遍 / 第三遍
- 阅读日期：YYYY-MM-DD
- 一句话贡献：{{按第 2 节模板填写，必须含可测数值或明确的分析结论}}
- 问题设定：{{输入、输出、评价方式、与已有工作的差别}}
- 方法骨架：{{第 3 节六字段，逐项填写}}
- 关键公式与维度：{{公式、符号表、维度、假设、边界}}
- 实验设置：{{数据版本、划分、基线、指标、计算预算、种子数}}
- 证据表：{{主张 / 实验 / 指标 / 基线 / 数值 / 方差 / 是否支持}}
- 假设清单：{{假设、是否被检验、在何处检验}}
- 批判与替代解释：{{第 7 节清单逐条给出结论}}
- 可复现清单：{{第 9 节十二项，标注已确认与缺失}}
- 与我方基线的关系：{{替换、补充或仅作参考，给出理由}}
- 后续动作：{{深读、复现、放弃，以及触发条件}}
```

字段的验收标准如下表。验收标准的作用是让不同时间填写的两份笔记可以直接比较，而不依赖填写时的记忆。

| 字段 | 合格标准 | 不合格示例 |
|---|---|---|
| 一句话贡献 | 含数值或明确的分析结论 | 提出了一种新方法，效果良好 |
| 方法骨架 | 六字段齐全且输入输出带形状 | 只写模块名 |
| 关键公式 | 有符号表与假设 | 只抄公式 |
| 实验设置 | 有数据版本与种子数 | 只写数据集名 |
| 证据表 | 每条主张一行 | 只贴结果表 |
| 批判 | 每条给出检验动作 | 写「可能存在偏差」 |
| 可复现清单 | 十二项逐项标注 | 写「细节见原文」 |

### 9. 从论文到复现的检查表

| 检查项 | 验证动作 | 缺失时的表现 |
|---|---|---|
| 数据版本 | 记录数据集名、版本、下载日期与校验和 | 换版本后分数漂移 |
| 数据划分 | 确认划分文件与划分随机种子 | 测试集信息泄漏进训练 |
| 预处理 | 逐条复现归一化与过滤规则 | 输入分布与论文不同 |
| 分词器 | 确认词表版本与特殊符号处理 | 序列长度与指标口径改变 |
| 超参数 | 从附录与配置文件中抄全 | 学习率或权重衰减不一致 |
| 学习率调度 | 确认预热步数与衰减方式 | 前若干步发散或收敛变慢 |
| 批大小 | 确认全局批大小与梯度累积步数 | 等效批大小不一致 |
| 数值精度 | 确认 fp32、fp16 或 bf16 | 混合精度下溢出或结果不可比 |
| 随机种子 | 至少 3 个种子，记录每个种子的结果 | 单次结果无法估计方差 |
| 评测脚本 | 使用官方脚本，逐项核对指标实现 | 自实现指标口径不同 |
| 依赖版本 | 锁定框架与算子库版本 | 结果不可重现 |
| 日志 | 保存配置、随机种子与逐轮指标 | 无法定位差异来源 |

复现的目标是得到落在论文方差范围内的数值，而不是与论文完全相同。若落在范围外，按上表逐项定位，而不是先怀疑方法。

### 10. 常见误读

**相关性当因果**：观察到「使用某类技术的论文平均分数更高」，不能推出「该技术提升分数」。采用该技术的团队往往同时拥有更多算力与数据，两个因素共同导致高分。控制方法是同一模型内开关该技术，或按算力与数据规模分层比较。若论文只提供跨论文的相关性，结论应降级为假设。

**忽略数据集差异**：同名基准存在不同版本、不同预处理与不同划分；困惑度在不同分词器下不可直接比较；BLEU 在不同分词与平滑设置下不可直接比较。跨论文比较前必须核对四项：数据版本、划分、预处理、指标实现。

**SOTA 当普适**：单一榜单的最优只说明在该榜单的分布上最优。榜单饱和后，剩余样本的难度分布与真实流量不同；榜单可能被污染；方法可能针对榜单的答案格式设计。三项都需要单独检验，方式见 [[模型评估矩阵]] 中污染检测与提示敏感性的部分。

**作者措辞当统计结论**：显著性需要检验统计量与样本量，作者的「显著」不是证据。复核方式是用第 5 节的差值标准误重算。

**训练损失当泛化**：训练损失下降可由容量增加或正则减弱造成；泛化需要独立验证集与同口径评测。

## 关键直觉

> [!tip] 阅读是证据审计，不是信息接收
> 三遍协议的每个阶段都以一个可被他人复核的结构化对象结束：一句话贡献是主张的压缩，方法骨架是机制的压缩，可复现清单是配置的压缩。审计的对象是「主张与其证据之间的映射是否完整」，因此终止判据针对的是证据链的缺口，而不是页数或理解程度。该直觉是第 1 节终止条件的直接推论：若 $A_1$ 无法写出含数值的一句话贡献，说明主张尚未被定位，继续阅读只会增加未结构化的信息。

## 例子与代码

### 例 1：判定分数差是否可区分

沿用第 5 节的数据，$\bar x_A=71.2$、$s_A=0.9$、$n_A=3$，$\bar x_B=72.5$、$s_B=1.1$、$n_B=3$。

$$
\mathrm{SE}_\Delta=\sqrt{\frac{0.9^2}{3}+\frac{1.1^2}{3}}=\sqrt{0.27+0.403}=0.821,\qquad z_\Delta=\frac{1.3}{0.821}=1.58
$$

$1.58<1.96$，不能拒绝同分布假设。下面的函数把该计算封装为可复用判定，并用种子数增加与方差增大两种设置作对照。

```python
"""比较两个模型的分数差是否超过种子间波动。"""
import math


def compare(mean_a: float, std_a: float, seeds_a: int,
            mean_b: float, std_b: float, seeds_b: int, z: float = 1.96) -> tuple:
    """返回 (差值, 差值标准误, z 统计量, 是否在 z 水平上可区分)。"""
    se = math.sqrt(std_a ** 2 / seeds_a + std_b ** 2 / seeds_b)
    delta = mean_b - mean_a
    stat = delta / se if se > 0 else math.inf
    return delta, se, stat, abs(stat) >= z


runs = [
    (71.2, 0.9, 3, 72.5, 1.1, 3),
    (71.2, 0.9, 3, 72.5, 1.1, 5),
    (71.2, 2.4, 3, 72.5, 2.1, 3),
]
for a_m, a_s, a_n, b_m, b_s, b_n in runs:
    d, se, stat, ok = compare(a_m, a_s, a_n, b_m, b_s, b_n)
    print(f"A={a_m}±{a_s}(n={a_n}) B={b_m}±{b_s}(n={b_n}) "
          f"Δ={d:+.2f} SE={se:.3f} z={stat:.2f} 可区分={ok}")
```

运行环境为 Python 3.12，无第三方依赖。输出为：

```text
A=71.2±0.9(n=3) B=72.5±1.1(n=3) Δ=+1.30 SE=0.821 z=1.58 可区分=False
A=71.2±0.9(n=3) B=72.5±1.1(n=5) Δ=+1.30 SE=0.716 z=1.82 可区分=False
A=71.2±2.4(n=3) B=72.5±2.1(n=3) Δ=+1.30 SE=1.841 z=0.71 可区分=False
```

函数在做什么：把第 5 节的差值标准误公式直接实现，返回差值与判定。为什么这样写：把 $s$ 与 $n$ 分开作为参数，补做实验时只需改变种子数，不必重算均值。去掉 `se > 0` 分支会怎样：两组方差都为零时发生除零，`stat` 变为 `inf` 或 `nan`，判定失去意义。三组输入的差别只在种子数与方差，输出显示同一 1.3 个百分点的差值在三种设置下都不可区分；判定取决于不确定度，不取决于差值本身的大小。

### 例 2：从 arXiv 元数据解析标题与年份

第一遍需要在一分钟内写出标题与年份，并判断是否与已有笔记重复。下面的工具从离线 Atom 响应中抽取条目，折叠标题中的换行与多余空白，并从编号与发布日期两个来源分别推出年份；两个来源不一致时给出提示。

```python
"""离线解析 arXiv Atom 元数据：规范化标题，从编号与发布日期分别推年份。"""
import re
import xml.etree.ElementTree as ET
from dataclasses import dataclass

ATOM = "{http://www.w3.org/2005/Atom}"

# 以下条目为解析演示构造，编号、标题与日期均非真实论文。
SAMPLE_XML = """<?xml version="1.0" encoding="UTF-8"?>
<feed xmlns="http://www.w3.org/2005/Atom">
  <entry>
    <id>http://arxiv.org/abs/2412.01234v2</id>
    <published>2025-01-04T09:12:00Z</published>
    <title>Sparse Routing with Balanced
      Auxiliary Load</title>
  </entry>
  <entry>
    <id>http://arxiv.org/abs/2503.09876v1</id>
    <published>2025-03-22T11:05:00Z</published>
    <title>A Benchmark for Long-Context
      Retrieval under Distribution Shift</title>
  </entry>
  <entry>
    <id>http://arxiv.org/abs/2503.09876v2</id>
    <published>2025-05-02T08:40:00Z</published>
    <title>A Benchmark for Long-Context
      Retrieval under Distribution Shift</title>
  </entry>
  <entry>
    <id>http://arxiv.org/abs/2505.04421v3</id>
    <published>2025-05-07T16:20:00Z</published>
    <title>Reproducing Sparse Attention Kernels:
      A Failure Analysis</title>
  </entry>
  <entry>
    <id>http://arxiv.org/abs/2509.00777v1</id>
    <published>2025-09-01T07:00:00Z</published>
    <title>Scaling Laws for Multilingual
      Instruction Tuning</title>
  </entry>
</feed>
"""


@dataclass
class Record:
    base_id: str
    version: int
    title: str
    year_id: int
    year_date: int
    published: str


def normalize_title(raw: str) -> str:
    """折叠换行与连续空白，使标题可用于去重与检索。"""
    return re.sub(r"\s+", " ", raw).strip()


def split_id(raw_id: str) -> tuple:
    """从 abs 链接中取出不含版本号的基础编号与版本号。"""
    m = re.search(r"abs/(\d{4}\.\d{4,5})(?:v(\d+))?", raw_id)
    if m is None:                       # 2007 年 4 月之前的旧式编号形如 cs.CL/0301001
        raise ValueError(f"无法解析的编号: {raw_id}")
    return m.group(1), int(m.group(2) or 1)


def year_from_id(base_id: str) -> int:
    """新式编号前四位为 YYMM，前两位是年份。"""
    yy = int(base_id[:2])
    return 2000 + yy if yy < 91 else 1900 + yy


def parse_feed(xml_text: str) -> list:
    root = ET.fromstring(xml_text)
    records = {}
    for entry in root.findall(f"{ATOM}entry"):
        base_id, version = split_id(entry.findtext(f"{ATOM}id", ""))
        published = entry.findtext(f"{ATOM}published", "")
        rec = Record(
            base_id=base_id,
            version=version,
            title=normalize_title(entry.findtext(f"{ATOM}title", "")),
            year_id=year_from_id(base_id),
            year_date=int(published[:4]),
            published=published[:10],
        )
        old = records.get(base_id)
        if old is None or rec.version > old.version:   # 同一论文只保留最高版本
            records[base_id] = rec
    return sorted(records.values(), key=lambda r: r.published)


def report(records: list) -> None:
    print(f"{'id':<12}{'ver':>4}{'id_yr':>7}{'pub_yr':>7}  title")
    for r in records:
        print(f"{r.base_id:<12}{r.version:>4}{r.year_id:>7}{r.year_date:>7}  {r.title}")
    bad = [r for r in records if r.year_id != r.year_date]
    print(f"\n条目 {len(records)} 条，编号年份与发布日期年份不一致 {len(bad)} 条")
    for r in bad:
        print(f"  跨年条目 {r.base_id}: 编号 {r.year_id} / 发布 {r.year_date}")
    years = {}
    for r in records:
        years[r.year_date] = years.get(r.year_date, 0) + 1
    print("按发布日期统计年份:", ", ".join(f"{y}: {c} 条" for y, c in sorted(years.items())))


if __name__ == "__main__":
    report(parse_feed(SAMPLE_XML))
```

运行环境为 Python 3.12，仅用标准库。输出为：

```text
id           ver  id_yr pub_yr  title
2412.01234     2   2024   2025  Sparse Routing with Balanced Auxiliary Load
2503.09876     2   2025   2025  A Benchmark for Long-Context Retrieval under Distribution Shift
2505.04421     3   2025   2025  Reproducing Sparse Attention Kernels: A Failure Analysis
2509.00777     1   2025   2025  Scaling Laws for Multilingual Instruction Tuning

条目 4 条，编号年份与发布日期年份不一致 1 条
  跨年条目 2412.01234: 编号 2024 / 发布 2025
按发布日期统计年份: 2025: 4 条
```

第一部分在做什么：用 `re.sub(r"\s+", " ", raw)` 把标题中的换行与缩进折叠为单个空格。为什么这样做：Atom 中的标题常按固定宽度折行，未规范化的标题无法用于去重与检索，长度统计也会偏移。去掉会怎样：同一篇论文在不同版本中的标题因折行位置不同而被判为两条。

第二部分在做什么：`split_id` 从 abs 链接中取出基础编号与版本号，`year_from_id` 取编号前两位作为年份。为什么这样做：arXiv 新式编号的前四位是提交年月，可离线得到粗略年份。去掉会怎样：只剩发布日期一个来源，遇到跨年提交时无法发现编号与发布日期的错位。

第三部分在做什么：用字典按基础编号去重，保留版本号最大的条目。为什么这样做：同一论文的多个版本会在 feed 中重复出现，重复条目会使候选计数与后续阅读预算失真。去掉会怎样：示例中的 5 个条目会被计为 5 篇，实际只有 4 篇。

第四部分在做什么：比较编号年份与发布日期年份，并统计各年份条目数。为什么这样做：12 月提交、次年 1 月公布的论文会出现编号年份小于发布年份的情况，按编号统计会把它们计入上一年。示例中 `2412.01234` 即属此类，编号年份为 2024，发布日期年份为 2025。

该工具不处理 2007 年 4 月之前的旧式编号。这类编号形如 `cs.CL/0301001`，不含年月，`split_id` 会抛出异常，调用处需按语料年份分流。

## 易错点

> [!warning] 六个可检验的错误
> 1. 跳过第一遍直接读方法。表现为笔记中没有一句话贡献，只有模块列表。检验方式：合上论文，用一句话说出「在什么数据上把什么指标从多少变到多少」，说不出来即第一遍未完成。
> 2. 把摘要当结论。表现为笔记引用的数值只出现在摘要中，正文表格里找不到对应行。检验方式：在结果表中定位该数值，并记录其对应的基线、数据划分与种子数。
> 3. 跨论文比较未核对口径。表现为把两个不同版本数据集、不同分词器或不同答案抽取规则下的分数直接相减。检验方式：列出数据版本、划分、预处理、指标实现四项，缺一项即标注为不可比。
> 4. 单种子结论。表现为只报告一次运行的结果并声称改进。检验方式：用本篇第 5 节公式计算 $z_\Delta$，小于 1.96 时改写为「未观察到可区分差异」。
> 5. 只读方法与结果，不读假设与限制。表现为复现时在分布外条件下得到远低于论文的分数。检验方式：在方法小节与附录中找出至少两条显式假设，逐条标注是否被单独检验。
> 6. 复现时改动划分而未记录。表现为复现分数与论文不可比且无法定位原因。检验方式：对照第 9 节检查表，确认划分文件与划分随机种子均已固定并记录。

## 关联笔记

- 前置：[[模型评估矩阵]]，提供置信区间、误差棒与污染检测的口径；本篇第 5 节的差值判定与第 10 节的榜单质疑都依赖该篇的统计定义。
- 前置：[[模型评估与交叉验证]]，提供交叉验证、偏差方差分解与基线选择的原理，用于判断论文中的划分与调参是否构成泄漏。
- 后续：[[AI技术动态追踪]]，把本篇的第二遍、第三遍判据用于每周候选的深读决策，并以本篇的笔记模板作为动态条目的格式。
- 对照：[[可解释性]]，同样以「主张与证据的对应」为核心，但检验对象是模型内部机制，而非论文的论证结构。
- 后续：[[端到端项目模板]]，把本篇第 9 节的复现检查表落实为项目配置与实验记录字段。

## 达标检测

- [ ] 不看原文，写出三遍阅读法每一遍的时间上限、阅读对象与输出物，并说明进入下一遍的条件。
- [ ] 取一篇本领域论文，在第一遍时限内写出一句话贡献与贡献类型；对照第 6 节表格，指出该论文的最低证据是否齐备。
- [ ] 手推缩放点积注意力中除以 $\sqrt{d_k}$ 的方差论证，写出所用三条假设，并说明假设不成立时该校正的偏差方向。
- [ ] 给定两组均值与种子标准差，用第 5 节公式计算 $\mathrm{SE}_\Delta$ 与 $z_\Delta$，判断 95% 水平上是否可区分，再用例 1 的代码复核。
- [ ] 为指定论文填写方法骨架六字段，每个字段给出张量形状或参数数量。
- [ ] 从一段论文表述中识别本篇第 10 节所列的误读类型，并针对该类型写出一个可执行的控制实验。

## 参考来源

- Keshav, "How to Read a Paper", ACM SIGCOMM Computer Communication Review, 2007 —— 对应本篇第 1 节的三遍划分与各遍时间预算，第二遍与第三遍的阅读对象取自该文。
- S. Peyton Jones 等，研究方法讲义 —— 对应第 6 节的贡献类型判定与第 7 节批判性问题清单中「替代解释」一类的构造方式。
- Goodfellow et al., *Deep Learning*, 2016, 前言 —— 对应第 3 节的方法骨架与第 8 节「阅读产出为结构化知识」的定位。
- arXiv API 用户手册（info.arxiv.org/help/api）—— 对应例 2 中 `id`、`published`、`title` 字段的语义与编号规则。
