AI技术动态追踪
定义
AI 技术动态追踪(technology tracking)是一套由固定信息源集合、固定筛选规则、固定时间预算与固定沉淀格式四要素构成的周期性流程,其目标是把一个报告周期内新增的技术信息转换为可复核的结构化条目,并使条目在需要时能够被检索、比较与纳入基线。
四要素缺一不可:源集合决定覆盖面,筛选规则决定信噪比,时间预算决定可持续性,沉淀格式决定条目能否被再次使用。缺少任一项时,流程会退化为「定期浏览」,其产出无法复核。
各术语与符号定义如下。
- 信息源(source):持续产出技术信息的通道。本篇按产出机制分为预印本、会议论文集、实验室博客与技术报告、代码仓库、社区五层。
- 信号(signal):会改变后续决策的信息。决策包括是否采用某方法、是否更换基线、是否调整研究方向、是否修改预算。
- 噪声(noise):不改变上述任一决策、但消耗筛选时间的信息。
- 候选(candidate):通过工具过滤与人工初筛、尚未进入深读的条目。
- 深读:按 论文阅读法 的第二遍及以上强度处理一篇论文。
- 基线登记表(baseline registry):记录当前用于比较的方法、其复现配置与分数差异的表。
- 基准过拟合(benchmark overfitting):方法的设计或选择针对特定评测集优化,使分数提升不能迁移到同一能力的其它分布。
- demo 偏差(demo bias):以作者挑选的样例推断方法的一般表现。
- 半衰期(half-life):一条技术信息在决策中保持有效的时间长度。
- :一个报告周期内各源新增条目的总数;:工具过滤后的候选数。
- :工具过滤的保留率,。
- :单条候选的人工初筛耗时,单位为分钟;:单篇第一遍的耗时。
- :当周进入第一遍的篇数;:收集与沉淀的固定耗时;:用于本流程的每周预算,单位为分钟。
为什么重要
技术选型依赖外部信息,而外部信息的产出速度超过人工处理速度。以 arXiv 的 cs.LG、cs.CL、cs.CV 三个分类为例,单个工作日的新增投稿通常以百计;一个方向按关键词命中后,每周仍有数十条。若每条初筛一分钟,仅初筛就需要数十分钟,深读时间尚无着落。流程的作用是在这个预算约束下给出可执行的取舍规则。
无流程的追踪有三类失效,后果可观测。
第一类,漏检。没有固定的关键词表与引用网络检查,只在信息流中被动接收,导致影响基线选择的工作在数月后才被发现。后果是实验比较使用了过时的基线,结论在评审时被判定为不完整,返工成本高于当初的验证成本。
第二类,过载。订阅源数量无上限,每周收到的条目超过可处理量,实际行为退化为快速滑动标题。后果是既没有覆盖,也没有沉淀,时间投入与产出不相关。
第三类,误判。以榜单排名、演示效果或讨论热度代替证据,把单榜最优当作普适最优。后果是选型后在自有分布上失效,而失效原因在选型时已经写在论文的限制讨论里。
在本笔记库中的位置:本篇与 论文阅读法 构成两级处理链,本篇负责召回与初筛,后者负责深读与复现;它为 模型评估矩阵 提供基准与榜单的更新来源;其基线登记表与 成本-延迟-质量权衡 的成本字段对应,因为新方法能否采用最终由成本、延迟、质量三维共同决定。
原理与推导
1. 信息源分层
五层信息源的差别不在「权威程度」,而在产出机制:是否经过评审、是否披露实现、是否可被独立验证。三者决定了该层信息能支持哪一类判断。
| 层 | 来源 | 时延 | 可信度来源 | 主要用途 | 主要风险 |
|---|---|---|---|---|---|
| 预印本 | arXiv 的 cs.LG、cs.CL、cs.CV、stat.ML | 1–3 天 | 无 | 覆盖面与速度 | 未经评审、版本变动 |
| 会议 | NeurIPS、ICML、ICLR、ACL、CVPR | 3–9 个月 | 同行评审 | 领域共识与质量过滤 | 评审噪声、时效落后 |
| 实验室博客与技术报告 | 研究机构与公司的技术发布 | 1 周–3 个月 | 工程细节与规模数据 | 可行性、成本、工程约束 | 选择性披露、不可复现 |
| 代码仓库 | 官方实现与复现仓库 | 与论文同步 | 可执行、可检查 | 超参数、实现细节、验证 | 与论文不一致、依赖缺失 |
| 社区 | 讨论区、复现报告、问题单 | 数小时–数周 | 群体经验 | 发现失败模式与隐藏条件 | 幸存者偏差、非系统 |
分层的使用规则有三条。第一,任何进入笔记的结论至少需要两层独立来源支持,例如预印本加代码仓库,或会议论文加复现报告。第二,社区来源只作为线索,不作为证据;社区中出现的失败复现应触发对论文的复核,而不能直接作为否定结论。第三,单层来源的条目在笔记中标注「未交叉验证」,并设置复核期限。
时延与价值的取舍由半衰期决定。方法类信息的半衰期通常长于榜单类信息:一个新机制是否有效,判断在 12 个月后多数仍然成立;而一个榜单的排名在 3 个月内即可能被刷新。因此榜单类信息只用于定位候选,不进入长期结论;方法类信息才值得占用深读预算。
2. 订阅与筛选流程
关键词表分三组,缺一组都会导致筛选偏向。
- 主题词:描述问题领域的词,例如检索、长上下文、量化、对齐。
- 方法词:描述机制的词,例如低秩分解、路由、蒸馏、稀疏化。
- 评估词:描述测量方式的词,例如基准、评测、延迟、吞吐、误差。
组合规则为主题词必选,方法词与评估词至少命中一组。只命中方法词的条目会引入大量与本方向无关的机制论文;只命中评估词的条目会引入大量基准论文。关键词表每季度重审,并记录每次增删的词与理由,否则关键词会随个人偏好单向收窄,最终只覆盖已经熟悉的方向。
作者跟踪用于补充关键词的盲区。需要跟踪三类作者:提出核心方法的作者、构造评测基准的作者、公开复现结果的作者。第二类作者常定义新的评价方式,第三类作者的复现报告常暴露论文未写明的条件。三类作者的新增工作即使不命中关键词,也应进入候选。
引用网络用于发现关键词之外的工作。选 5 至 10 篇锚点论文,每周查看其新增引用,并阅读引用上下文而不只看标题:后续工作是扩展、修正还是反驳,只有引用上下文能区分。若某篇锚点论文在两周内出现多条新增引用,说明该方向正在升温,应提高其优先级。
筛选分三级,每级有固定的时间上限与判定规则。
| 级别 | 时间上限 | 阅读内容 | 判定 |
|---|---|---|---|
| L0 | 5 秒 | 标题 | 与关键词表任一主题词相关则保留 |
| L1 | 60 秒 | 摘要、图表、结论首段 | 按第 4 节四项评分,低于阈值则归档 |
| L2 | 10 分钟 | 按 [[论文阅读法]] 第一遍 | 决定是否进入第二遍 |
去重按基础编号进行。同一论文的会议版与预印本合并为一条,引用时以会议版为准,因为评审后的版本通常修正了实验设置;若会议版尚未出现,则在条目中注明所依据的预印本版本号。工具过滤的保留率 用于衡量筛选强度: 过大说明关键词过宽, 过小说明关键词过窄,两者都会降低有效覆盖。
3. 每周固定流程
周流程的时间盒为 45 分钟,可在 30 至 60 分钟之间按当周候选量调整;调整后须用本节的不等式重算可处理候选数。各段有固定产出,时间盒的作用是让「本周未完成」成为一个可观测状态,而不是持续积压。
| 时段 | 动作 | 产出 | 完成判据 |
|---|---|---|---|
| 0–5 分钟 | 从各源导出本周新增,运行例 2 的脚本 | 候选列表 | 列表落盘,含编号与日期 |
| 5–21 分钟 | L0 与 L1 初筛 16 条 | 保留条目及评分 | 每条不超过 60 秒 |
| 21–31 分钟 | 对评分最高的一篇做第一遍 | 一句话贡献 | 含数值或明确结论 |
| 31–42 分钟 | 写入动态条目并加双链 | 条目 3 至 5 条 | 每条至少一个双链 |
| 42–45 分钟 | 更新下周待读队列 | 队列 | 不超过 2 篇 |
上表中收集、沉淀与排队合计 19 分钟,记为 。时间预算的约束为
其中 为当周进入第一遍的篇数。取 分钟、 分钟、 分钟,当 且 时得 ,上表的 16 条恰好用满预算。若关键词过滤后仍有 40 条,按该配置需要 分钟,超时 24 分钟。可执行的动作有两个:收紧主题词使 ,代价是可能漏检;或当周退回 ,此时 上限为 26 条,代价是本周不产出深读结论。
深读不计入周预算。第二遍按每篇 60 分钟计,每月安排不超过 2 篇,单独占用 2 小时时段。把深读塞进周流程会挤压初筛时间,导致下一周候选积压,积压又迫使初筛加速,形成正反馈。
流程有三条硬规则:每周深读不超过 1 篇;不做无输出的浏览,任何浏览必须至少产出一个编号进入候选列表;候选列表与动态条目必须落盘,未落盘视为未处理。
4. 是否值得深读
四项评分,每项 0 至 2 分,总分 8 分,阈值 6 分。阈值以下归档而不是丢弃:归档条目保留在候选库中,当关键词或方向变化时重新评分。
| 维度 | 0 分 | 1 分 | 2 分 | 判定问句 |
|---|---|---|---|---|
| 问题重要性 | 与当前方向无关 | 同领域边缘问题 | 改变基线或成本边界 | 不读此文,三个月内是否可能做出错误选型 |
| 方法新颖性 | 既有模块的组合 | 单点改动 | 新的形式化或机制 | 去掉方法名后,剩余内容是否仍是已知做法 |
| 实验可信度 | 无同口径基线或无消融 | 有基线但无方差 | 同口径基线、消融、方差齐备 | 最强基线是否在同一数据与预算下训练 |
| 可复现性 | 无代码且无实现细节 | 代码或细节有其一 | 代码、超参数、数据说明齐备 | 用公开信息能否在两周内跑通 |
两项否决条件优先于分数。第一,若论文声称的改进完全建立在单一自建评测集上,且未公开该集合的构造与统计,最高计 4 分。第二,若核心主张依赖未公开的数据或模型,最高计 5 分。否决条件的作用是防止高新颖性掩盖不可验证性。
评分的作用是压缩决策时间,不是替代判断。可复核性来自判定问句:两人对同一篇论文评分不一致时,差异必然落在某个具体问句上,讨论该问句即可,不必争论整体印象。
5. 追踪工具
工具只负责召回,判断仍由第 4 节的评分完成。
| 工具 | 用途 | 不可替代的能力 | 局限 |
|---|---|---|---|
| arXiv Sanity | 语义相似检索、按主题聚合 | 从一篇论文扩展到同义表述的工作 | 依赖其索引与相似度模型,不构成完整性保证 |
| Papers with Code | 论文、代码实现与榜单分数的关联 | 快速定位官方实现与已报告分数 | 榜单口径不一,收录不全 |
| Semantic Scholar | 引用网络与引用上下文 | 找后续工作、修正与反驳 | 上下文抽取有误差,收录有滞后 |
| arXiv API | 脚本化查询与增量拉取 | 可编程、可复现的候选生成 | 不支持全文检索,有速率限制 |
使用顺序为:先用 arXiv API 生成候选,再用 arXiv Sanity 扩展语义相似的工作,用 Semantic Scholar 检查引用网络,最后用 Papers with Code 确认是否存在实现与已报告分数。四步顺序不可颠倒:先查实现会在候选尚未确定时浪费时间,先查引用网络会在方向尚未明确时引入无关分支。
工具的界面与入口会变化,不属于方法的一部分。本篇只规定用途、使用顺序与各工具的局限,具体操作以工具当期的文档为准。
6. 信息过滤与避免噪声
噪声有五类来源,处理方式各不相同。
| 噪声类型 | 表现 | 处理方式 |
|---|---|---|
| 榜单刷新 | 分数提高但评测设置与前版相同 | 只在基线登记表更新时处理 |
| 公关稿 | 无方法细节的能力宣称 | 降级为线索,等待技术报告或代码 |
| 综述泛滥 | 同一主题短期内多篇综述 | 只保留覆盖最新文献的一篇 |
| 同名冲突 | 缩写相同但所指不同 | 按全称与任务匹配后再判定 |
| 讨论热度 | 转发量高但无独立复现 | 不作证据,仅作检索线索 |
三条过滤规则。第一,决策相关性:一条信息若不能对应到「采用、替换、放弃、调整」四种动作之一,则不进入笔记。第二,交叉验证:单一来源的结论标注为未验证,两周内未获得第二来源则移出候选库。第三,时间衰减:超过 18 个月且无独立复现的「突破」降级为历史条目,不再占用每周预算。
订阅数量需要上限。在预算固定时,源的数量增加会压缩每条的处理时间;把源限制在 12 个以内,新增一个源时删除一个旧源,可防止订阅量单调增长。推送通知应关闭,改为每周批量拉取:推送会把处理时间碎片化,使单条初筛超过 60 秒的上限,而超时条目会挤占当周的其余环节。
单条初筛设 60 秒硬上限。超时条目记为「待定」并放入队列,而不是继续阅读;继续阅读以单条的超时换取整体覆盖率的下降,在候选量超过预算时,该交换必然降低整体覆盖。
7. 实验跟踪
追踪的终点是把新方法纳入自己的基线。没有这一步,追踪只产生阅读量。
基线登记表的字段固定为:方法名、来源、参数量、训练数据与规模、计算量、官方分数、我方分数、差值、评测脚本版本、复现日期、备注。字段的作用是使「我方分数高于官方分数」这类异常可被定位:可能是实现更优,也可能是评测口径更松。
纳入基线需同时满足五个条件:官方实现可运行;超参数与数据说明足以复现;在我方评测集上可用同一脚本评分;计算预算在可承受范围内;与现有基线在能力上不重复。
纳入流程分四步。第一步,在十分之一规模的数据与步数上跑通管线,确认输入输出形状与评测脚本一致。第二步,全量训练,至少 3 个种子,记录均值与标准差。第三步,用第 4 节评分复核该方法的实验可信度,低于阈值时只登记为参考,不进入主表。第四步,更新登记表并注明替换或补充关系。
差分测试用于排除实现错误。把官方实现与自实现的同一层输入相同张量,比较输出的最大绝对误差;误差超过数值精度允许范围时先修实现,再比较分数。评测脚本同理:用官方脚本跑我方模型,与自写脚本的结果对比,差异超过 0.5 个百分点时以官方脚本为准并定位原因。
三类风险需要记录。第一,基线实现错误造成虚假提升,表现为自实现基线的分数显著低于论文。第二,数据泄漏,表现为我方分数异常高于官方分数,且换数据后差异消失。第三,版本漂移,表现为同一脚本在不同依赖版本下结果不同。
8. 知识沉淀
每条动态写成一个结构化条目,字段固定。
| 字段 | 内容 | 验收标准 |
|---|---|---|
| 日期 | 发布或获取日期 | 可追溯 |
| 来源层 | 预印本、会议、博客、代码、社区 | 与第 1 节分层一致 |
| 编号 | arXiv 编号或会议页码 | 可定位原文 |
| 一句话贡献 | 按 [[论文阅读法]] 的模板 | 含数值或明确结论 |
| 贡献类型 | 新问题、新方法、新数据、新分析、系统 | 单一主类型 |
| 与我方基线的关系 | 替换、补充、参考、无关 | 给出理由 |
| 评分 | 第 4 节四项分值与总分 | 四项齐全 |
| 动作 | 深读、复现、归档 | 与评分一致 |
| 双链 | 至少一个主题笔记 | 目标在本库清单内 |
双链的作用是把动态条目挂到已有知识结构上,而不是形成孤立的时间线。挂接规则按内容类型确定:新的评测基准与评分方式挂到 模型评估矩阵;新的对齐方法挂到 对齐-RLHF 或 DPO与偏好优化;推理与部署优化挂到 模型推理优化;检索侧的方法挂到 检索优化与重排Rerank。
主题综述按季度生成。当同一主题的动态条目达到 5 条以上时,合并为一页综述,结构固定为:时间线、方法分类、共同假设、未解决问题、我方结论。综述的作用是把条目之间的差异显式化;若 5 条条目无法归纳出共同假设,说明该主题的分类维度尚未确定,应继续收集而不是强行综述。
沉淀与既有笔记的关系需要区分两种修改。新增进展以带日期的段落追加在主题笔记末尾,不改变原有结论;若新证据足以推翻原有结论,则走单独评审,修改正文并在修改记录中注明依据。把两者混在一起,会使笔记结论随时间漂移而无法追溯。
9. 技术判断的常见偏差
炒作偏差:以信息量代替证据量。表现为一条工作在多处被讨论即被视为重要。检验方式:统计独立复现的数量、代码是否可用、最强基线是否被比较。三项中缺两项时,该工作的证据强度不足以进入基线。
基准过拟合:方法的设计或选择针对特定评测集优化。表现为同一方法在原始榜单上领先,换到同能力的另一数据集后优势消失。检验方式:换数据集、换分布、按时间切分、更换评测脚本。四种检验中至少做两种,才能判断优势是否可迁移。
demo 偏差:以作者挑选的样例推断一般表现。表现为演示视频质量高,但失败案例未被统计。检验方式:从目标分布随机抽取 条输入,统计成功率与失败类型; 小于 30 时只能作为方向性观察。
规模混淆:把规模带来的收益归因于方法。表现为方法在大模型上有效,但对照实验未对齐数据与算力。检验方式:在等算力与等数据条件下比较,或检查论文是否报告了规模扫描。
发表偏差:只看到成功案例。表现为某方法被广泛引用,但其失败复现未被检索。检验方式:主动检索包含「复现」「失败」「负结果」的工作,并检查引用该方法的论文中是否有一致性讨论。
10. 周、月、季度流程
| 周期 | 时间 | 动作 | 产出 | 完成判据 |
|---|---|---|---|---|
| 每周 | 45 分钟 | 收集、初筛、2 篇第一遍、写条目 | 候选列表、3 至 5 条条目 | 候选落盘且含编号 |
| 每月 | 90 分钟 | 深读 1 至 2 篇、更新基线登记表、复核待定条目 | 深读笔记、登记表更新 | 至少一个方法完成同口径复测 |
| 每季度 | 3 小时 | 主题综述、关键词重审、源清单审计、方向调整 | 综述 1 篇、关键词表新版本 | 关键词增删有理由,源数量不增长 |
| 每半年 | 半天 | 复核归档条目、清理失效来源、重评基线 | 归档清理记录、基线表新版本 | 失效条目与来源均有处置结论 |
flowchart LR
A[各源新增] --> B[工具过滤: 关键词与日期]
B --> C[人工初筛 60 秒]
C -->|评分不低于 6| D[第一遍 10 分钟]
C -->|评分低于 6| E[归档]
D -->|相关且可复现| F[第二遍 60 分钟]
D -->|不相关| E
F --> G[纳入基线登记表]
F --> H[主题综述]
G --> I[更新笔记库双链]
H --> I
E -->|季度重审| C
流程的关键约束在反馈边:归档条目在关键词重审后重新评分,基线登记表在复测后更新,综述在条目达到 5 条后触发。缺少反馈边时,流程退化为单向的信息消费,归档条目只增不减。
关键直觉
追踪的产出是基线变更记录,不是阅读量
一条信息构成信号的条件是它改变了某个后续决策:替换基线、修正成本估计、调整方向。因此流程的瓶颈不在收集,而在筛选与沉淀:收集可以脚本化,筛选需要判定规则,沉淀需要结构化字段。该直觉由定义中信号与噪声的区分直接给出:若一条信息读完后不改变任何决策,它对流程的贡献为零,无论投入多少时间。第 7 节的基线登记表是这一判据的落地形式,它把「是否值得读」转换为「是否值得改表」。
例子与代码
例 1:时间预算的手算
取 分钟、 分钟、 分钟,由 得下表。
| 每周预算 | 第一遍篇数 | 可处理候选 | 用途 |
|---|---|---|---|
| 30 分钟 | 0 | 11 条 | 只初筛,不深读 |
| 45 分钟 | 1 | 16 条 | 基准配置 |
| 60 分钟 | 1 | 31 条 | 覆盖优先 |
| 60 分钟 | 2 | 21 条 | 深读优先 |
四行的取舍可以直接读出:增加一篇第一遍等价于少处理 10 条候选,延长 15 分钟等价于多处理 15 条候选。若关键词过滤后仍有 40 条,按 、 计算需要 分钟,超时 24 分钟。可执行的动作有两个:收紧主题词使 ,代价是可能漏检;或当周退回 ,此时 上限为 26 条,代价是本周不产出深读结论。选择取决于当周是否处于方向调整期:调整期保留覆盖面,稳定期收紧主题词。
例 2:按关键词与日期过滤 Atom 响应
下面的脚本读取离线 Atom 响应,先去重,再按时间窗、主题词与排除词过滤,最后按命中情况打分并排序。脚本不联网,示例条目为构造数据,用于演示字段解析与筛选逻辑。
"""按关键词与日期过滤离线 arXiv Atom 响应,输出候选列表(不联网)。"""
import re
import xml.etree.ElementTree as ET
from dataclasses import dataclass, field
from datetime import date
ATOM = "{http://www.w3.org/2005/Atom}"
ARXIV = "{http://arxiv.org/schemas/atom}"
WINDOW = (date(2025, 1, 1), date(2025, 6, 30)) # 本次筛选的时间窗
TOPIC = {"quantization", "kv cache", "speculative decoding", "inference", "throughput"}
METHOD = {"int4", "low rank", "pruning", "distillation", "kernel fusion"}
EVAL = {"benchmark", "evaluation", "latency", "perplexity", "accuracy"}
EXCLUDE = {"survey", "position paper", "tutorial"}
# 以下条目为解析演示构造,编号、标题与摘要均非真实论文。
SAMPLE_XML = """<?xml version="1.0" encoding="UTF-8"?>
<feed xmlns="http://www.w3.org/2005/Atom" xmlns:arxiv="http://arxiv.org/schemas/atom">
<entry>
<id>http://arxiv.org/abs/2502.01111v1</id>
<published>2025-02-10T10:00:00Z</published>
<title>INT4 Quantization for KV-Cache Compression in Long-Context Inference</title>
<summary>We compress the KV cache to INT4 and benchmark perplexity and accuracy.</summary>
<arxiv:primary_category term="cs.LG"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2502.01111v2</id>
<published>2025-02-18T10:00:00Z</published>
<title>INT4 Quantization for KV-Cache Compression in Long-Context Inference</title>
<summary>We compress the KV cache to INT4 and benchmark perplexity and accuracy.</summary>
<arxiv:primary_category term="cs.LG"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2503.02222v1</id>
<published>2025-03-05T09:30:00Z</published>
<title>Speculative Decoding with Adaptive Draft Length</title>
<summary>We evaluate decoding latency on two generation benchmarks.</summary>
<arxiv:primary_category term="cs.CL"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2504.03333v1</id>
<published>2025-04-18T13:45:00Z</published>
<title>Throughput-Oriented Kernel Fusion for Small-Batch Inference</title>
<summary>Kernel fusion raises throughput while keeping task accuracy unchanged.</summary>
<arxiv:primary_category term="cs.LG"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2505.04444v1</id>
<published>2025-05-02T08:10:00Z</published>
<title>A Survey of Efficient Inference Techniques</title>
<summary>We review quantization and speculative decoding methods.</summary>
<arxiv:primary_category term="cs.LG"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2506.05555v1</id>
<published>2025-06-11T15:20:00Z</published>
<title>Low-Rank Distillation for On-Device Vision Models</title>
<summary>Distillation reduces parameters for image classification.</summary>
<arxiv:primary_category term="cs.CV"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2507.06666v1</id>
<published>2025-07-20T11:00:00Z</published>
<title>Pruning Attention Heads without Retraining</title>
<summary>Pruning lowers inference cost at equal accuracy.</summary>
<arxiv:primary_category term="cs.LG"/>
</entry>
<entry>
<id>http://arxiv.org/abs/2411.07777v2</id>
<published>2024-11-15T12:00:00Z</published>
<title>KV-Cache Eviction under Distribution Shift: An Evaluation</title>
<summary>An evaluation of KV cache eviction policies.</summary>
<arxiv:primary_category term="cs.CL"/>
</entry>
</feed>
"""
@dataclass
class Candidate:
base_id: str
version: int
title: str
summary: str
published: date
category: str
hits: dict = field(default_factory=dict)
score: int = 0
def norm(text: str) -> str:
"""统一大小写与连字符写法,使 kv-cache 与 KV cache 命中同一词条。"""
text = text.lower().replace("-", " ").replace("/", " ")
return re.sub(r"\s+", " ", text).strip()
def hit(text: str, terms: set) -> list:
return sorted(t for t in (norm(x) for x in terms) if t in text)
def parse(xml_text: str) -> list:
root = ET.fromstring(xml_text)
best = {}
for e in root.findall(f"{ATOM}entry"):
m = re.search(r"abs/(\d{4}\.\d{4,5})v(\d+)", e.findtext(f"{ATOM}id", ""))
if m is None:
continue
base_id, version = m.group(1), int(m.group(2))
if base_id in best and version <= best[base_id].version:
continue # 同一论文保留最高版本
best[base_id] = Candidate(
base_id=base_id,
version=version,
title=re.sub(r"\s+", " ", e.findtext(f"{ATOM}title", "")).strip(),
summary=norm(e.findtext(f"{ATOM}summary", "")),
published=date.fromisoformat(e.findtext(f"{ATOM}published", "")[:10]),
category=(e.findtext(f"{ARXIV}primary_category", "") or "").strip(),
)
return sorted(best.values(), key=lambda c: c.published)
def screen(cands: list) -> tuple:
"""先按时间窗与主题词做硬过滤,再按命中情况打分。"""
kept, dropped = [], []
for c in cands:
if not (WINDOW[0] <= c.published <= WINDOW[1]):
dropped.append((c, "超出时间窗"))
continue
text = norm(f"{c.title} {c.summary}")
topic, method = hit(text, TOPIC), hit(text, METHOD)
ev, exc = hit(text, EVAL), hit(text, EXCLUDE)
if not topic: # 无主题词直接丢弃,避免噪声入库
dropped.append((c, "无主题词"))
continue
c.hits = {"主题": topic, "方法": method, "评估": ev, "排除": exc}
c.score = 2 + (1 if method else 0) + (1 if ev else 0) - 3 * len(exc)
if c.score < 2:
dropped.append((c, "命中排除词"))
continue
kept.append(c)
return kept, dropped
def main() -> None:
raw = parse(SAMPLE_XML)
kept, dropped = screen(raw)
kept.sort(key=lambda c: (-c.score, -c.published.toordinal()))
tier = {4: "优先深读", 3: "第一遍", 2: "归档"}
print(f"时间窗 {WINDOW[0]} 至 {WINDOW[1]},去重后 {len(raw)} 条")
print(f"{'分数':>4} {'日期':<11}{'编号':<13}{'层级':<6} 标题")
for c in kept:
print(f"{c.score:>4} {c.published} {c.base_id:<13}{tier.get(c.score, '归档'):<6} {c.title}")
print(f"\n候选 {len(kept)} 条,排除 {len(dropped)} 条")
for c, why in dropped:
print(f" {c.base_id} {c.published} {why}:{c.title}")
print("\n各候选命中词")
for c in kept:
print(f" {c.base_id}: " + "; ".join(f"{k}={'/'.join(v)}" for k, v in c.hits.items() if v))
if __name__ == "__main__":
main()
运行环境为 Python 3.12,仅用标准库。输出为:
时间窗 2025-01-01 至 2025-06-30,去重后 7 条
分数 日期 编号 层级 标题
4 2025-04-18 2504.03333 优先深读 Throughput-Oriented Kernel Fusion for Small-Batch Inference
4 2025-02-18 2502.01111 优先深读 INT4 Quantization for KV-Cache Compression in Long-Context Inference
3 2025-03-05 2503.02222 第一遍 Speculative Decoding with Adaptive Draft Length
候选 3 条,排除 4 条
2411.07777 2024-11-15 超出时间窗:KV-Cache Eviction under Distribution Shift: An Evaluation
2505.04444 2025-05-02 命中排除词:A Survey of Efficient Inference Techniques
2506.05555 2025-06-11 无主题词:Low-Rank Distillation for On-Device Vision Models
2507.06666 2025-07-20 超出时间窗:Pruning Attention Heads without Retraining
各候选命中词
2504.03333: 主题=inference/throughput; 方法=kernel fusion; 评估=accuracy
2502.01111: 主题=inference/kv cache/quantization; 方法=int4; 评估=accuracy/benchmark/perplexity
2503.02222: 主题=speculative decoding; 评估=benchmark/latency
第一部分在做什么:norm 把文本统一为小写,并把连字符与斜杠替换为空格。为什么这样做:同一概念在标题与摘要中可能写作 KV-Cache、kv cache 或 KV/cache,不统一会使同一词条漏检。去掉会怎样:标题中的 KV-Cache 与关键词表的 kv cache 不再匹配,命中只能来自摘要中的空格写法;一旦摘要也采用连字符写法,该条会被判为无主题词而漏检。
第二部分在做什么:解析 entry 的 id、published、title、summary 与 primary_category,并按基础编号保留最高版本。为什么这样做:同一论文的多个版本会重复出现,最新版本可能修正了摘要;保留最高版本可避免重复计数。去掉会怎样:示例中 8 个 entry 会被计为 8 条而不是 7 条,2502.01111 会以两个版本的发布日期同时出现在候选列表中。
第三部分在做什么:先做时间窗硬过滤,再做主题词硬过滤,最后计算评分 ,其中 为排除词命中个数。为什么这样设计:主题词是必要条件,因此作为否决条件而不是加分项;排除词用于压制综述与立场文章,权重取 3,使其一次命中即降到阈值以下。去掉主题词否决会怎样:2506.05555 只命中方法词 low rank 与 distillation,会以 3 分进入候选,而它与高效推理主题无关。
第四部分在做什么:按分数与日期排序,并输出层级标签。为什么这样做:同分条目按新近程度排序,使本周的新工作优先进入第一遍。去掉排序会怎样:输出顺序由 XML 中的条目顺序决定,与优先级无关,读者仍需手工比较。
需要注意脚本的评分与第 4 节的评分不是同一件事。脚本评分只统计词命中,衡量「与关键词表的匹配度」;第 4 节评分衡量「是否值得投入 60 分钟深读」。前者用于召回排序,后者用于决策,两者不可互相替代。把脚本分数当作质量分数,会系统性偏向标题中堆叠术语的论文。
例 3:四项评分的手算
对三条候选按第 4 节评分,结果如下。
| 候选 | 问题重要性 | 方法新颖性 | 实验可信度 | 可复现性 | 总分 | 动作 |
|---|---|---|---|---|---|---|
| A:新基准,覆盖长上下文检索的分布偏移 | 2 | 1 | 2 | 2 | 7 | 第一遍后深读 |
| B:已知机制的参数化改写 | 0 | 1 | 1 | 2 | 4 | 归档 |
| C:新机制,但无代码且基线未对齐 | 2 | 2 | 0 | 0 | 4 | 归档,两个月后重评 |
候选 C 说明否决条件的作用:新颖性满分,但实验可信度与可复现性均为 0,总分 4 低于阈值。若只看前两项,C 会以满分进入优先队列,而它在复现阶段需要先补齐基线与数据说明,投入高于按阈值归档的代价。
易错点
六个可检验的错误
1. 只订预印本,不看会议版。表现为引用的是初版结论,而会议版已修改实验设置。检验方式:对每条进入笔记的条目,检查是否存在同名会议版本,存在则以会议版为准并记录版本差异。
2. 以榜单第一作为选型依据。表现为基线登记表中某方法官方分数很高,但评测集、提示与解码参数与自有场景不同。检验方式:用同一脚本在自有数据上复测,记录差值。
3. 追踪无输出。表现为每周花费时间浏览,但候选列表与条目数量为零。检验方式:统计本周条目的编号数量,为零即流程未执行。
4. 关键词只增不减。表现为候选数逐月上升,初筛时间超预算。检验方式:每季度统计各关键词的命中量与采用率,删除连续两季度采用率为零的词。
5. 把新方法直接替换基线而未同口径重跑。表现为分数提升但无法排除评测口径差异。检验方式:新旧基线使用同一评测脚本与同一数据划分,重跑后比较。
6. 以讨论热度代替证据。表现为条目记录了转发量或讨论量,但没有独立复现、代码可用性与基线比较的记录。检验方式:检查条目是否含第 9 节三项检验中的至少两项。
关联笔记
- 前置:论文阅读法,提供三遍协议与深读判据;本篇第 4 节评分通过后即进入该篇的第一遍与第二遍。
- 前置:模型评估矩阵,提供榜单分数的口径、污染检测与误差棒;本篇第 6 节与第 9 节的榜单质疑依赖该篇的度量定义。
- 后续:成本-延迟-质量权衡,把追踪到的方法放入三维约束中评估,决定是否替换现有方案。
- 后续:模型推理优化,承接追踪中与量化、缓存、批处理相关的方法,并给出实现层面的验证方式。
- 对照:幻觉与缓解,同样处理「输出不可直接采信」的问题,但该篇以检测与缓解为主,本篇以证据采集与基线更新为主。
达标检测
- [ ] 不看原文,写出五层信息源,并为每层给出一个用途与一个主要风险。
- [ ] 由 出发,计算 、、、、 时的最大候选数,并说明超预算时的两种处置及其代价。
- [ ] 取三条本周候选,按第 4 节四项评分打分,给出总分与动作,并指出忽略某一维度会导致的错误结论。
- [ ] 运行例 2 的脚本,把时间窗改为 2025-01-01 至 2025-12-31,说明输出变化及
2507.06666的去留原因。 - [ ] 为一个新方法写出纳入基线登记表的五个条件,并说明缺少任一条件时的具体风险。
- [ ] 给出一条「某方法刷新榜单」的消息,写出按第 9 节需要补充的三项检验,并说明三项皆缺失时该消息应归为何种等级。
参考来源
- arXiv API 用户手册(info.arxiv.org/help/api)—— 对应例 2 中
entry、id、published、summary、arxiv:primary_category字段的语义与增量查询方式。 - Papers with Code —— 对应第 5 节论文、实现与榜单分数的关联用途,以及第 6 节榜单分数的口径核查。
- Semantic Scholar —— 对应第 5 节引用网络与引用上下文的用途,以及第 2 节锚点论文的后续工作检索。
- NeurIPS、ICML 官方会议站点 —— 对应第 1 节会议层信息源的时延、评审机制与录用列表的用途。
- Keshav, "How to Read a Paper", 2007 —— 对应第 2 节的 L2 筛选与第 4 节深读判据中「第一遍」的时间与阅读对象。