数据集质量控制
定义
数据集质量控制(dataset quality control)指在把监督数据送入训练之前,用可复现的度量与固定的筛选流程,把语料限制在去重、低噪、许可合规、与目标分布匹配且不含评测泄漏的子集上,并为每一次过滤保留统计记录的过程。
形式化地,给定候选样本集合 ,质量控制输出子集 与拒绝原因映射 ,其中 是规则集合。质量控制的产物不只是 ,还包括每一步的保留率、被删样本的原因分布,以及一份可审核的数据卡。缺少后两者时,筛选过程不可复现,也无法判断删掉的数据是否携带任务必需的信息。
符号约定如下。
| 符号 | 含义 |
|---|---|
| 第 条样本的输入,指令微调中为提示词部分 | |
| 第 条样本的目标输出,指令微调中为回复部分 | |
| 过滤前后的样本数 | |
| 文本 的 n-gram 集合 | |
| 集合 的 Jaccard 相似度, | |
| 词汇全集上的随机置换 | |
| 集合 在置换 下的最小哈希值, | |
| MinHash 签名长度,即独立置换的个数 | |
| 分带 LSH 的带数与每带行数,满足 | |
| 两个集合的相似度,在本文中即 | |
| 相似度为 的文档对成为候选对的概率 | |
| 困惑度(perplexity),语言模型对文本的平均每 token 负对数似然的指数 | |
| Cohen's kappa 与 Krippendorff's alpha,标注一致性系数 | |
| 污染检测使用的 n-gram 阶数 | |
| 污染率,训练集与评测集存在 n-gram 重叠的评测样本占比 |
其余术语在首次出现处定义:精确去重(exact deduplication)指归一化后文本完全相同的样本只保留一条;近重复(near-duplicate)指文本不同但 n-gram 重叠度超过阈值的样本;质量过滤(quality filtering)指按规则或模型打分剔除低质样本;配比(mixture)指各来源、任务、领域样本在训练批次中的比例;标注一致性(inter-annotator agreement)指多名标注者对同一批样本判断的一致程度;污染(contamination)指评测集内容以 n-gram 或近似形式出现在训练数据中;数据卡(datasheet)指随数据集发布的结构化说明文档。
为什么重要
微调的目标函数直接拟合给定数据:监督微调在样本上最大化 ,因此数据中的错误格式、重复片段与矛盾标签都会作为梯度信号写入参数。训练损失下降只说明模型拟合了这批数据,不说明它获得了目标能力。质量控制的作用是让损失下降与能力提升保持同向。
重复数据带来三重代价。第一,重复样本在梯度上被加权多次,等效于人为提高该片段的学习率,模型倾向逐字记忆它;Lee 等在 2022 年的实验表明,去重能够降低模型对训练文本的逐字复述,并在相同计算量下取得更低困惑度。第二,重复消耗训练预算:在固定 token 预算下,重复率越高,模型见到的不同 token 越少,有效数据量 随之下降。第三,重复改变评测:验证集中若存在训练集的近重复样本,指标反映的是记忆而非泛化。
污染的代价高于噪声。噪声降低模型质量,但指标仍然部分有效;污染使指标本身失效,因为评测从测量泛化退化为测量检索与记忆。一旦评测失真,后续关于学习率、数据配比、模型规模的全部结论都失去依据,且这种失效不会在训练日志中显现。
在本库中,本篇位于数据与训练的交界处:前置是 数据工程入门 与 Pandas数据清洗,它们提供采集、清洗与可复现管道的工具;后续是 指令微调SFT(数据格式、对话模板与损失掩码)、继续预训练与领域适配(配比、学习率与灾难遗忘)与 LoRA与QLoRA(小数据条件下的过拟合控制);对照 微调方法全景 可以看清不同微调方法对数据量的敏感度差异。学习目标是能对一批数据给出量化诊断、能实现去重与污染检测、能说明每个阈值的来源。
原理与推导
1 质量的五个可测维度
质量不是单一标量。下表把可操作的度量与失败后果并列,便于在管道中逐项设置检查点。
| 维度 | 度量 | 典型处理 | 缺失后果 |
|---|---|---|---|
| 重复 | 精确重复率、近重复簇大小分布 | 精确重复清零,近重复按簇保留一条 | 记忆化、过拟合、指标虚高 |
| 噪声 | 困惑度、乱码比、重复率、长度 | 按分位数或人工校准阈值过滤 | 学到错误格式与拼写 |
| 一致性 | Cohen's 、Krippendorff's | 时修订标注指南 | 标签含矛盾信号,模型学到均值 |
| 匹配度 | 领域、任务、难度分布 | 调整配比与采样权重 | 训练目标偏离线上分布 |
| 泄漏 | 与评测集的 n-gram 重叠 | 删除命中样本并重跑 | 指标失去意义 |
此外还有合规维度:许可与个人信息。它不进入损失函数,但决定数据能否使用与能否再分发。
2 来源、许可与溯源
许可不是布尔量,而是按用途划分的一组权利。常见类型与约束如下。
| 许可 | 主要约束 | 训练使用的注意点 |
|---|---|---|
| CC0 / 公有领域 | 无 | 风险最低 |
| CC-BY | 署名 | 需保留出处;模型输出是否需署名取决于司法辖区 |
| CC-BY-SA | 署名 + 相同方式共享 | 衍生数据的许可可能被传染 |
| CC-BY-NC | 禁止商业使用 | 商用模型不可使用 |
| Apache-2.0 / MIT | 署名、专利授权条款 | 多用于代码与部分数据集 |
| 平台 ToS | 自定义,常禁止再分发原始数据 | 需逐条核对抓取与训练条款 |
| 未标注 | 默认不可用 | 不得假定可训练 |
工程上有三条要求。第一,每条样本携带 source_id、license、retrieved_at 与原始 URL,形成可追溯的溯源链;删除请求到达时能定位到全部派生样本。第二,许可按用途分别记录:研究使用、商用、再分发模型权重是三件不同的事,一份 CC-BY-NC 数据可以用于研究但不能进入商用模型。第三,个人信息在入库前过滤,包括邮箱、电话、身份证号、住址与账号标识;过滤要记录命中规则的统计量,而不是静默删除。原始数据与过滤后数据都应保留版本哈希,否则无法回答「某个模型用了哪一版数据」。
3 精确去重
精确去重的键是归一化文本的哈希。归一化包含四步:Unicode NFKC 统一全半角与兼容字符;转小写;删除空白与标点;剥离固定的模板头尾(导航栏、版权声明、页脚)。四步都作用于同一文本时,仅标点不同的两份文档落到同一键。
复杂度为 次哈希与一次字典插入,内存为去重后文本的规模。保留策略需要预先确定:保留最长者、保留最早抓取者、保留许可最宽者,三者会产生不同的子集,必须写进数据卡。只做精确去重会漏掉大量改写与模板变体,因此它通常作为第一道筛,后面接近似去重。
4 近似去重:MinHash 与分带 LSH
近似去重把文档表示为 n-gram 集合,用 Jaccard 相似度度量重叠。中文按字符取 ,英文按词取 ,都是常见选择; 越小对改写越敏感,同时误报越多。
直接两两比较需要 次集合交,语料达到 条时不可行。MinHash 给出可分带的压缩表示。
设全集 ,, 为 上的均匀随机置换,定义
则
证明:令 。由于 均匀随机, 取 中任一元素的概率相同。若 ,则 ;若 ,则 ,两者不等; 对称。故命中的概率等于 落在交集中的概率,即 。
取 个独立置换 ,构造签名 ,并用
估计相似度。 无偏,方差为
、 时标准误约为 ,因此单对文档的估计误差在百分之几量级,阈值附近的一个候选对需要用精确 Jaccard 复核。实践中的置换用带种子的哈希函数族模拟:对每个种子 计算 ,取最小值, 个种子对应 个近似独立的置换。
分带把长度为 的签名切成 段、每段 行。若两文档相似度为 ,则单个带完全相同的概率为 , 个带中至少一个相同的概率为
该函数在 附近最陡,故阈值近似为 ,此时 (精确值 );若以 定义阈值,则 。取 得 、,此时
| 真实相似度 | 0.30 | 0.50 | 0.70 | 0.885 | 0.905 |
|---|---|---|---|---|---|
| 成为候选对的概率 | 0.122 | 0.644 | 0.988 |
增大使曲线更陡、区分度更高; 增大使阈值左移、候选对增多。参数选择由「允许漏检多少近重复」与「能承受多少候选对复核」共同决定,两者不能同时最优。
5 近似去重:SimHash
SimHash 用随机超平面把文档映射为定长指纹。为每个 token 生成随机向量 与权重 (词频或 tf-idf),文档指纹为
两位编码不同的概率等于两个权重向量夹角 的比例 ,因此汉明距离的期望为 ;取 时,。阈值常用汉明距离不超过 3(64 位指纹的经验约定)。
| 维度 | MinHash | SimHash |
|---|---|---|
| 相似度 | Jaccard | 余弦相似度(经 转换) |
| 指纹语义 | 个最小哈希值 | 位符号串 |
| 候选检索 | 分带 LSH,概率可解析 | 需按位分块建表,无同等保证 |
| 增量更新 | 需重算签名 | 可对 token 增量累加 |
| 适用场景 | 文档级近重复、语料去重 | 短文本、流式去重、相似检索 |
SimHash 的优点是签名可增量维护,适合持续到达的数据流;缺点是没有 MinHash 那样可解析的召回率保证,工程上依赖分块索引的经验参数。
6 质量过滤
困惑度过滤用一个在目标语料上训练的小语言模型给每段文本打分。对长度为 的文本 ,
保留 的文本可以剔除乱码、OCR 残片与机器拼接噪声;同时剔除 的极低分文本可以去掉模板与重复页脚,但这一步容易误删正常文本,通常只删除压缩比异常的部分。CCNet 一类流程用 5-gram Kneser-Ney 语言模型为每段打分并保留低困惑度段落,其阈值按语言分别校准。
困惑度过滤有三种偏差。第一,打分模型与目标分布不同时,领域术语密集的文本得分偏高而被误删;用领域语料训练打分模型可以缓解,但会引入自我强化:越接近打分模型分布的文本越容易通过。第二,阈值依赖打分模型、语料与分词方式,跨数据集不可移植。第三,低困惑度不等于高质量,模板化文本同样可预测。因此阈值必须在人工标注的样本上校准:抽 500 至 2000 条,人工标注「可用/不可用」,扫描阈值,画出保留率与精度的曲线,选精度满足要求且保留率不过低的位置。
规则过滤成本最低,通常先执行。可计算量包括:字符或 token 长度;重复率 ;压缩比,用 zlib 压缩后长度除以原始 UTF-8 字节长度;乱码比,替换字符 U+FFFD、控制字符与私有区字符的占比;停用词比例;字母与符号比例;语言识别置信度;模板句命中率。规则阈值同样需要校准,且应记录每条规则的命中数,否则无法判断是数据变了还是规则错了。
模型打分成本最高,用于语义层面的判断:训练一个轻量分类器(如 fastText)区分高质量与低质量样本;用奖励模型或无参考打分模型为样本打分;用大模型按评分细则逐条打分。三种做法都需要与人工标注对齐,报告一致性系数,并对分数做分层抽样复核。模型打分适合放在管道末端,只处理规则过滤无法判定的边界样本。
管道的顺序由成本决定:精确去重 → 规则过滤 → 近似去重 → 困惑度过滤 → 模型打分。每一步都记录输入数、输出数与拒绝原因分布。
7 配比与采样
设第 个来源(或任务、领域)的样本数为 ,采样概率为 ,温度参数 ,
时按自然规模采样, 时各来源等概率。T5 在预训练中使用温度 的重采样,即 ,对应 ;这一取值在保留大来源贡献的同时提升小来源的曝光。
采样比例决定每个来源被遍历的次数。设总训练步数为 、每步样本数为 ,则来源 的等效 epoch 为
若要求任何来源的重复不超过 ,则采样比例必须满足
举例:、,共采样 条;某领域只有 条且 ,则 。这是上采样的硬上限,超过它就是在制造重复。批量应按 token 而不是样本计,把 换成每步 token 数 、 换成该来源的 token 数,公式不变。
配比还有两个维度。其一是任务比例:目标任务的样本比例应高于其自然比例,但受上式约束;比例过高会使模型在其他任务上退化。其二是难度分层:按长度、推理步数或基座模型的通过率把样本分箱,控制各箱比例。过难样本占比过高时损失大但学不到,过易样本占比过高时梯度信号弱;常见做法是先按通过率过滤掉两端,再在中间区间均匀采样。领域混合另需保留一定比例的通用指令数据,用于抑制灾难遗忘,具体比例与 继续预训练与领域适配 中的回放策略一致。
去重与采样存在交互:上采样等价于人为制造重复,因此 epoch 应按去重后的唯一样本数计算,或对上采样部分单独标记,以便在分析过拟合时区分「重复」与「多样本」。
8 标注一致性
标注一致性衡量多名标注者对同一批样本的判断在多大程度上可互换。两名标注者、 个类别、 个样本时,Cohen's kappa 定义为
其中 是第 名标注者对第 个样本的判断, 是第 名标注者判为类别 的次数, 是观察一致率, 是两名标注者边际分布独立时的期望一致率。 表示完全一致, 表示与随机判断无异,负值表示系统性反向。
数值例子:,两名标注者,两类。混淆矩阵为
即同判 A 类 50 条、同判 B 类 35 条、分歧 15 条。;边际为 ;;。
Krippendorff's alpha 推广到任意编码者数量、允许缺失值、支持任意距离度量。对 个分析单元,单元 有 个有效判断,构造重合矩阵
其中 是第 名编码者对单元 的取值。记 ,,标称距离 ,则
是观察到的分歧比例, 是按边际分布随机配对时的期望分歧比例。有序类别把 换成秩差的平方,区间类别换成数值差的平方,公式结构不变。
数值例子:6 个单元、3 名编码者、两类,第 5 个单元缺一名编码者的判断。
| 单元 | 编码者 1 | 编码者 2 | 编码者 3 |
|---|---|---|---|
| 1 | A | A | A |
| 2 | A | A | A |
| 3 | B | B | B |
| 4 | A | B | B |
| 5 | A | A | 缺失 |
| 6 | A | A | A |
有效判断总数 ,边际 、;,,。若把单元 4 的一个 B 改为 A,观察分歧 不变,但边际变为 , 降到 , 降到 。这说明 不是纯分歧度量,它随边际分布变化。
两个系数对类别不平衡都敏感。两名编码者、100 个单元中 99 个同判 A、1 个判为 (A,B) 时,,但第二名编码者的边际为 、第一名编码者为 ,,。原始一致率 99% 而 为 0,此时应报告一致率与类别分布,而不能只报一个系数。
使用约定:两名编码者、名义类别优先用 ;超过两名编码者、存在缺失值或有序类别用 。常用判读阈值为 可用于结论性比较, 仅可用于探索, 应修订标注指南。流程上先双盲标注 5% 至 10% 的样本,计算系数,逐条讨论分歧,修订指南后重新标注该批样本;系数在修订后应重新计算,而不是沿用旧值。
9 污染检测
污染检测判断评测样本是否以 n-gram 形式出现在训练语料中。对评测集 中的样本 ,取其 -gram 集合 ,与训练集的 -gram 全集 求交:
的选择决定灵敏度与误报。GPT-3 的技术报告使用 13-gram 重叠作为污染判据;中文按字切分时,13 个字的连续重合已足以说明是同一段文本,而 4 至 5 个字的短语重合大量来自常用表达。同一批数据上,本篇代码在 时给出污染率 0.40,把 降到 4 后升到 0.80,新增的两条命中最长只有 4 至 5 个 token,属于通用术语组合,不构成整题泄漏。
仅按命中与否做二值判定会丢失信息,工程上同时报告命中 n-gram 数与最长连续命中长度:前者反映整体重合比例,后者区分「整题泄漏」与「局部短语重合」。逐基准分别报告,不合并成单一数字,因为不同基准的题干长度与领域词分布差异很大。
除直接复制外,还有四条泄漏路径。第一,训练时误用了测试集或其答案。第二,评测用的 few-shot 示例出现在预训练语料中,模型在提示中见到示例前已记住答案。第三,合成数据由见过测试集的模型生成,答案以改写形式进入训练集。第四,同一原始语料被切成训练集与测试集,n-gram 重叠但来源相近。
缓解手段按成本排序:删除命中样本;对全基准做 MinHash 去重;在报告中标明污染率并同时给出干净子集上的分数;重跑检测并记录版本。需要注意,删除命中样本会改变基准本身,与公开榜单的协议可能不一致,因此必须在数据卡中写明处理方式,而不能静默处理。
10 格式校验与 schema
格式校验把「样本是否可用」从主观判断变成可执行断言。指令微调数据的最小 schema 为
{"id": str, "messages": [{"role": "system"|"user"|"assistant", "content": str}],
"meta": {"source_id": str, "license": str, "lang": str, "tokens": int}}
校验项包括:JSON 可解析;必填字段存在且类型正确;messages 非空、首条为 system 或 user、user 与 assistant 交替出现、末条为 assistant;content 非空且去除首尾空白后长度大于阈值;token 数不超过模板上限;用户文本中不包含模板特殊 token(如 <|im_end|>、<|im_start|>),否则拼接后会截断对话结构;license 在白名单内;meta.tokens 与实际分词结果一致。
校验失败应 fail-closed:样本进入拒绝集合并记录原因码,而不是修补后放行。原因码需要聚合统计,拒绝率突增通常意味着上游格式变更。schema 本身要有版本号,字段变更通过迁移脚本完成,历史数据保留原版本标记。
11 训练/验证划分与泄漏
随机划分在有近重复的语料上必然泄漏:同一文档的不同段落、同一问题的不同改写会同时进入训练集与验证集。正确顺序是先去重、再划分,并按文档或来源分组。
划分策略有三种。按文档分组:以 source_id 或 URL 为单位划分,保证同一文档的全部片段落在同一侧。按用户或会话分组:对话数据中同一用户的多轮会话高度相关,随机划分会把同一会话拆开。按时间划分:以抓取时间为界,训练用早期数据、验证用后期数据,更接近线上分布,也能暴露时间漂移。
划分完成后必须量化跨集重叠:计算验证集中与训练集存在 -gram 重叠的样本比例,目标为 0;若不为 0,说明去重或分组有遗漏。同时报告两侧的类别分布、长度分布与来源分布,分布差异过大时指标不可比。数据量小于数千条时使用分组交叉验证,折的划分同样以文档为单位。
Pandas数据清洗 中的分组聚合与索引操作可以直接实现上述划分,但要注意 groupby 后按组抽样时保持组内完整性,不能对行做随机 sample。
12 数据卡要素
数据卡把上述过程的结论固定为可引用的文档。Gebru 等提出的框架包含七部分:动机、构成、采集过程、预处理与标注、用途、分发、维护。用于微调数据时,每一部分需要落到具体字段。
| 部分 | 必填内容 |
|---|---|
| 动机 | 任务定义、目标能力、不适用场景 |
| 构成 | 样本数、token 数、语言与领域分布、来源清单 |
| 采集 | 抓取时间范围、采集方式、许可快照 |
| 预处理 | 归一化规则、去重方法与阈值、过滤规则与保留率 |
| 标注 | 指南版本、标注者数量、 或 、分歧处理 |
| 用途 | 允许的用途、已知偏差、评测污染率 |
| 分发 | 许可、访问条件、版本哈希、更新记录 |
| 维护 | 联系方式、删除请求流程、复现脚本位置 |
数据卡与代码应放在同一版本控制下。缺少版本哈希时,报告中的「使用某数据集训练」无法复现;缺少保留率时,无法判断模型效果差异来自方法还是数据。
关键直觉
质量控制本质上是在估计「这批数据把梯度指向哪里」:重复样本等价于提高该片段的采样权重,噪声样本等价于向参数注入与任务无关的信号,污染样本则使评测从测量泛化退化为测量记忆。
与严格定义的关系:定义中的 与拒绝原因映射 把「质量」拆成可逐项检查的规则集合;MinHash 一节给出的 说明去重的召回率是可控参数而非事后统计;配比一节的有效 epoch 公式 把「重复」与「上采样」统一为同一个量;一致性系数与污染率则分别度量标签信号的信噪比与评测信号的有效性。
例子与代码
以下三段代码只依赖 Python 3.12 标准库,可直接运行;语料是十至十二条演示文本,规模不足以代表真实管道,数值用于说明机制与输出格式。
第一段实现精确去重、MinHash 签名、分带 LSH、候选复核与并查集聚簇,并在末尾给出改写强度对 Jaccard 的影响。
"""近似去重:归一化 → 4-gram → MinHash → 分带 LSH → Jaccard 复核(Python 3.12,仅标准库)。"""
import hashlib
import re
import unicodedata
from collections import defaultdict
from itertools import combinations
DOCS = {
"d01": "指令微调样本应包含系统提示、用户请求和目标回复三个部分。系统提示固定角色与约束,"
"用户请求给出任务输入,目标回复是模型需要学习的输出。缺少系统提示时,训练分布与推理分布不一致,模型会忽略约束。",
"d02": "指令微调样本应包含系统提示、用户请求和目标回复三个部分。系统提示固定角色和约束,"
"用户请求给出任务输入,目标回复是模型需要学习的输出。缺少系统提示时,训练分布与推理分布不一致,模型会忽略约束。",
"d03": "数据去重可以降低模型对重复片段的逐字记忆,并减少训练所需的计算量。精确去重以归一化文本的哈希为键,"
"近似去重以 MinHash 估计相似度,再用分带 LSH 减少比较次数。阈值应由验证集决定。",
"d04": "数据去重可以降低模型对重复片段的原文记忆,并减少训练所需的计算量。精确去重以归一化文本的哈希为键,"
"近似去重以 MinHash 估计相似度,再用分带 LSH 减少比较次数。阈值应由验证集决定。",
"d05": "困惑度过滤器依据语言模型对文本的打分剔除乱码与拼接噪声,阈值应在人工标注的样本上校准。",
"d06": "标注一致性用 Krippendorff alpha 或 Cohen kappa 度量,取值低于零点六时说明标注指南需要修订。",
"d07": "指令微调样本应包含系统提示、用户请求和目标回复三个部分。系统提示固定角色和约束,"
"用户请求给出任务输入,目标回复是模型需要学习的输出。缺少系统提示时,训练分布与推理分布不一致,模型会忽略约束。",
"d08": "验证集必须与训练集在文档层面隔离,否则指标会被近重复样本抬高。",
"d09": "序列打包把多条短样本拼接进同一窗口,需要块对角注意力掩码,否则后一条样本会看到前一条的内容。",
"d10": "学习率预热在前百分之三的步数内线性升高,之后按余弦曲线衰减到初始值的百分之十。",
}
KEEP = re.compile(r"[^0-9a-z\u4e00-\u9fff]+")
def normalize(text: str) -> str:
"""统一全半角与大小写,删除空白与标点,使仅标点不同的文本落到同一键。"""
return KEEP.sub("", unicodedata.normalize("NFKC", text).lower())
def shingles(text: str, n: int = 4) -> set:
"""字符 n-gram 集合;中文不依赖分词,字符级即可匹配轻度改写。"""
s = normalize(text)
return {s[i:i + n] for i in range(len(s) - n + 1)}
def jaccard(a: set, b: set) -> float:
return len(a & b) / len(a | b)
def minhash(sh: set, k: int = 64) -> tuple:
"""k 个带种子的 blake2b 模拟 k 次随机置换,取每次置换下的最小哈希。"""
sig = []
for seed in range(k):
sig.append(min(int.from_bytes(
hashlib.blake2b(f"{seed}:{x}".encode(), digest_size=8).digest(), "big"
) for x in sh))
return tuple(sig)
def exact_dedup(docs: dict):
"""精确去重:归一化文本哈希相同的文档归为一组。"""
buckets = defaultdict(list)
for doc_id, text in docs.items():
buckets[hashlib.sha256(normalize(text).encode()).hexdigest()].append(doc_id)
return [sorted(v) for v in buckets.values() if len(v) > 1]
def lsh_candidates(sigs: dict, b: int = 16, r: int = 4):
"""b 段 r 行分带,任一段签名完全相同即进入候选对。"""
buckets = defaultdict(list)
for doc_id, sig in sigs.items():
for band in range(b):
buckets[(band, sig[band * r:(band + 1) * r])].append(doc_id)
pairs = set()
for members in buckets.values():
for a, c in combinations(sorted(members), 2):
pairs.add((a, c))
return pairs
def find(p, x):
while p[x] != x:
p[x] = p[p[x]]
x = p[x]
return x
def union(p, a, b):
ra, rb = find(p, a), find(p, b)
if ra != rb:
p[max(ra, rb)] = min(ra, rb)
SH = {d: shingles(t) for d, t in DOCS.items()}
SIG = {d: minhash(s) for d, s in SH.items()}
print("文档数:", len(DOCS), "平均 4-gram 数:", round(sum(map(len, SH.values())) / len(SH), 1))
print("精确重复组:", ["+".join(v) for v in exact_dedup(DOCS)])
cand = lsh_candidates(SIG)
print(f"LSH 候选对: {len(cand)} / 全部 {len(DOCS) * (len(DOCS) - 1) // 2} 对")
parent = {d: d for d in DOCS}
hit = []
for a, b in sorted(cand):
j = jaccard(SH[a], SH[b])
if j >= 0.80:
hit.append((a, b, j))
union(parent, a, b)
print("复核通过的候选对:")
for a, b, j in sorted(hit, key=lambda x: -x[2]):
est = sum(x == y for x, y in zip(SIG[a], SIG[b])) / 64
print(f" {a}-{b} J={j:.3f} MinHash 估计={est:.3f}")
clusters = defaultdict(list)
for d in DOCS:
clusters[find(parent, d)].append(d)
print("近重复簇:")
for members in clusters.values():
if len(members) > 1:
pairs = [f"{a}-{b}:{jaccard(SH[a], SH[b]):.2f}" for a, b in combinations(sorted(members), 2)]
print(f" {sorted(members)} " + " ".join(pairs))
dropped = sum(len(m) - 1 for m in clusters.values())
print(f"每簇保留 1 条:删 {dropped} 条,保留 {len(DOCS) - dropped} 条")
base = DOCS["d02"]
v1 = base.replace("固定角色和约束", "固定角色与约束")
v2 = v1.replace("推理分布不一致", "推理分布不相同")
print("改写强度敏感性:1 处替换 J=%.3f,2 处替换 J=%.3f"
% (jaccard(shingles(base), shingles(v1)), jaccard(shingles(base), shingles(v2))))
输出如下。
文档数: 10 平均 4-gram 数: 59.3
精确重复组: ['d02+d07']
LSH 候选对: 4 / 全部 45 对
复核通过的候选对:
d02-d07 J=1.000 MinHash 估计=1.000
d01-d02 J=0.905 MinHash 估计=0.922
d01-d07 J=0.905 MinHash 估计=0.922
d03-d04 J=0.885 MinHash 估计=0.859
近重复簇:
['d01', 'd02', 'd07'] d01-d02:0.90 d01-d07:0.90 d02-d07:1.00
['d03', 'd04'] d03-d04:0.89
每簇保留 1 条:删 3 条,保留 7 条
改写强度敏感性:1 处替换 J=0.905,2 处替换 J=0.798
这段代码在做什么:normalize 把全半角、大小写与标点差异消掉,使 d02 与 d07 落到同一哈希键,因此精确去重直接抓到一对;shingles 用字符 4-gram 表示文本,minhash 为每篇文档生成 64 维签名;lsh_candidates 按 16 带 4 行分带,只把在同一带内完全相同的文档对列为候选;随后用精确 Jaccard 在 0.80 阈值上复核,并用并查集把 d01、d02、d07 合并为一簇。
为什么这样做:10 篇文档两两比较只需 45 次,但真实语料是 量级, 不可行。LSH 把 45 对压到 4 对候选,同时没有漏掉任何真实近重复。MinHash 估计与精确值相差 0.017 与 0.026,与 时约 0.037 的标准误一致,说明估计量可用,但阈值附近的判定必须用精确值复核。
去掉会怎样:若不做归一化,d02 与 d07 因标点或大小写差异逃过精确去重;若去掉复核、只信 MinHash 估计,0.859 与 0.885 这两对在阈值 0.80 附近会因估计误差产生不一致的判定;若去掉并查集,d01 与 d07 不会被识别为同簇,因为二者从未直接成为候选对,簇需要传递闭包。
最后一行给出阈值选择的依据:同一段文本只改一个词时 ,改两处时降到 。字符 n-gram 对插入与删除尤其敏感,长度变化会破坏其后的全部 n-gram。因此阈值必须按语料长度与编辑强度校准,长文档可用 0.80,短文本需要更低,或改用 SimHash 与向量相似度。
第二段实现 n-gram 污染检测,对每条评测样本报告命中数与最长连续命中长度,并对比 与 的判定差异。
"""基准题污染检测:n-gram 重叠(Python 3.12,仅标准库)。"""
import re
import unicodedata
TRAIN = [
"以下是模型评测集的题干:分组查询注意力中,多个查询头共享同一组键值头,其主要收益是什么?请给出答案。",
"训练数据中意外包含评测题目:在序列打包训练时,为什么需要块对角注意力掩码?",
"在序列打包训练时,为什么需要设置块对角掩码?这是改写后的版本。",
"两种标注一致性系数分别适用于不同的编码者数量与缺失值情形。",
"MinHash 用多个随机置换下的最小哈希估计集合的 Jaccard 相似度。",
"学习率预热在前百分之三的步数内线性升高,随后按余弦曲线衰减。",
]
EVAL = [
("e1", "分组查询注意力中,多个查询头共享同一组键值头,其主要收益是什么?"),
("e2", "在序列打包训练时,为什么需要块对角注意力掩码?"),
("e3", "Krippendorff alpha 与 Cohen kappa 在适用条件上有什么区别?"),
("e4", "MinHash 估计 Jaccard 相似度的无偏性来自什么?"),
("e5", "学习率预热通常设置多少比例的训练步数?"),
]
TOKEN = re.compile(r"[a-z]+|[0-9]+|[\u4e00-\u9fff]")
def tokens(text: str) -> list:
"""规范化后切分:英文按词、数字按串、中文按单字。"""
return TOKEN.findall(unicodedata.normalize("NFKC", text).lower())
def ngrams(ts: list, n: int) -> set:
return {tuple(ts[i:i + n]) for i in range(len(ts) - n + 1)}
def longest_match(eval_tokens: list, train_texts: list, n_max: int = 40) -> int:
"""从长到短寻找命中,返回最长连续重合的 token 数(0 表示无命中)。"""
for n in range(min(n_max, len(eval_tokens)), 3, -1):
pool = set()
for t in train_texts:
pool |= ngrams(tokens(t), n)
if ngrams(eval_tokens, n) & pool:
return n
return 0
def report(n: int) -> float:
train_pool = set()
for t in TRAIN:
train_pool |= ngrams(tokens(t), n)
print(f"n={n} 训练集 n-gram 数={len(train_pool)}")
dirty = 0
for qid, q in EVAL:
g = ngrams(tokens(q), n)
hit = g & train_pool
ratio = len(hit) / len(g)
flag = "污染" if hit else "干净"
longest = longest_match(tokens(q), TRAIN) if hit else 0
dirty += bool(hit)
print(f" {qid} 命中 {len(hit):2d}/{len(g):2d} ({ratio:.2f}) 最长连续命中 {longest:2d} {flag}")
rate = dirty / len(EVAL)
print(f" 污染率 = {dirty}/{len(EVAL)} = {rate:.2f}")
return rate
report(8)
print()
report(4)
输出如下。
n=8 训练集 n-gram 数=138
e1 命中 22/22 (1.00) 最长连续命中 29 污染
e2 命中 14/14 (1.00) 最长连续命中 21 污染
e3 命中 0/ 9 (0.00) 最长连续命中 0 干净
e4 命中 0/ 8 (0.00) 最长连续命中 0 干净
e5 命中 0/11 (0.00) 最长连续命中 0 干净
污染率 = 2/5 = 0.40
n=4 训练集 n-gram 数=158
e1 命中 26/26 (1.00) 最长连续命中 29 污染
e2 命中 18/18 (1.00) 最长连续命中 21 污染
e3 命中 0/13 (0.00) 最长连续命中 0 干净
e4 命中 1/12 (0.08) 最长连续命中 4 污染
e5 命中 2/15 (0.13) 最长连续命中 5 污染
污染率 = 4/5 = 0.80
这段代码在做什么:把文本切成中文字符与英文词组成的 token 序列,以 为窗口构建 n-gram 集合;训练集的所有 n-gram 合并为一个池,评测样本的每个 n-gram 与池求交即得命中;longest_match 从 40 向下试,找出最长的连续重合长度,用来区分整题泄漏与短语重合。
为什么这样做:命中比例说明重合多少,最长长度说明泄漏形态。e1 的 29 个 token 连续命中意味着题干被整体复制,直接删除; 时 e4 与 e5 各命中 1 至 2 个短 n-gram,最长只有 4 至 5 个 token,属于通用术语重合,不应判为污染。两个 的对比说明污染率对 极其敏感,报告必须写明 与切分方式。
去掉会怎样:若只报告「污染/干净」而不给最长命中长度,无法区分整题泄漏与单短语重合,删除策略会误伤;若只用 而不做小 的诊断,改写型泄漏会被漏掉,因为改写破坏了长 n-gram;若不分基准合并统计,题干短的基准会稀释题干长的基准的污染率。
第三段实现困惑度过滤与规则过滤的组合判定,用字符二元语言模型给文本打分,并同时计算重复率与乱码比。
"""困惑度过滤与规则过滤(Python 3.12,仅标准库)。"""
import math
import unicodedata
from collections import Counter
CORPUS = [
"数据去重可以降低模型对重复片段的记忆,并减少训练所需的计算量。",
"标注一致性用 Krippendorff alpha 度量,取值低于零点六七时说明指南需要修订。",
"困惑度过滤器用语言模型给文本打分,剔除乱码与机器拼接产生的噪声。",
"验证集必须与训练集在文档层面隔离,否则指标会被近重复样本抬高。",
"序列打包把多条短样本拼接进同一窗口,需要块对角注意力掩码。",
"学习率预热在前百分之三的步数内线性升高,之后按余弦曲线衰减。",
"质量过滤的阈值应在人工标注的样本上校准,并报告保留比例。",
"基准题污染检测用 n-gram 重叠度量,命中即从训练集删除。",
"本页面内容受版权保护,转载请注明来源。",
"本页面内容受版权保护,转载请注明来源。",
]
DOCS = [
("k01", "质量过滤的阈值应在人工标注的样本上校准,并报告每一步的保留比例。阈值过高会删掉领域术语密集的段落。"),
("k02", "困惑度过滤器用语言模型给每段文本打分,剔除乱码与机器拼接产生的噪声,并保留得分处于合理区间的段落。"),
("k03", "本页面内容受版权保护,转载请注明来源。" * 8),
("k04", "asdkjh qwe zxcvb lkjhg poiuy mnbvc xzqwe rtyui asdfg hjkl zxcvb qwerty uiop"),
("k05", "数据清洗流程包括去重与过滤。\ufffd\ufffd\ufffd 后续步骤见附录。\x00\x01\x02"),
("k06", "去重。"),
("k07", "验证集必须与训练集隔离。验证集必须与训练集隔离。验证集必须与训练集隔离。验证集必须与训练集隔离。验证集必须与训练集隔离。"),
("k08", "数据去重可以降低模型对重复片段的记忆,并减少训练所需的计算量。近似去重以 MinHash 估计相似度。"),
("k09", "质量过滤包括长度、重复率、乱码比三类规则,以及基于模型打分的语义过滤。规则过滤成本低,适合作为第一道筛。"),
("k10", "标注一致性用 Krippendorff alpha 度量,取值低于零点六七时说明标注指南需要修订,通常需要重写示例。"),
]
ALPHA = 0.5
uni = Counter()
bi = Counter()
for s in CORPUS:
uni.update(s)
bi.update(zip(s, s[1:]))
V = len(uni)
def ppl(text: str) -> float:
"""字符二元语言模型,加 ALPHA 平滑;返回每字符困惑度。"""
nll = 0.0
for a, b in zip(text, text[1:]):
p = (bi[(a, b)] + ALPHA) / (uni[a] + ALPHA * V)
nll -= math.log(p)
return math.exp(nll / max(len(text) - 1, 1))
def rep4(text: str) -> float:
"""4-gram 重复率 = 1 - 不同 4-gram 数 / 4-gram 总数。"""
g = [text[i:i + 4] for i in range(len(text) - 3)]
return 1 - len(set(g)) / len(g) if g else 0.0
def garbled(text: str) -> float:
"""乱码比:替换字符与控制字符的占比。"""
bad = sum(1 for c in text if c == "\ufffd" or unicodedata.category(c) in ("Cc", "Cf", "Co", "Cs"))
return bad / len(text)
keep = 0
for doc_id, text in DOCS:
n = len(text)
p, r, g = ppl(text), rep4(text), garbled(text)
reasons = []
if p > 150:
reasons.append("PPL 超限")
if r > 0.25:
reasons.append("重复率超限")
if g > 0.01:
reasons.append("乱码比超限")
if n < 20:
reasons.append("过短")
ok = not reasons
keep += int(ok)
verdict = "保留" if ok else "丢弃(" + ",".join(reasons) + ")"
print(f"{doc_id} 字符={n:3d} PPL={p:7.2f} 重复率={r:.2f} 乱码比={g:.3f} {verdict}")
print(f"保留 {keep}/{len(DOCS)} 条,删除 {len(DOCS) - keep} 条")
输出如下。
k01 字符= 49 PPL= 95.68 重复率=0.00 乱码比=0.000 保留
k02 字符= 49 PPL= 87.63 重复率=0.00 乱码比=0.000 保留
k03 字符=152 PPL= 40.66 重复率=0.87 乱码比=0.000 丢弃(重复率超限)
k04 字符= 75 PPL= 181.87 重复率=0.08 乱码比=0.000 丢弃(PPL 超限)
k05 字符= 29 PPL= 161.42 重复率=0.00 乱码比=0.207 丢弃(PPL 超限,乱码比超限)
k06 字符= 3 PPL= 107.95 重复率=0.00 乱码比=0.000 丢弃(过短)
k07 字符= 60 PPL= 71.98 重复率=0.79 乱码比=0.000 丢弃(重复率超限)
k08 字符= 51 PPL= 89.92 重复率=0.00 乱码比=0.000 保留
k09 字符= 52 PPL= 145.41 重复率=0.00 乱码比=0.000 保留
k10 字符= 58 PPL= 70.87 重复率=0.00 乱码比=0.000 保留
保留 5/10 条,删除 5 条
这段代码在做什么:ppl 用加 0.5 平滑的字符二元模型计算每字符困惑度,rep4 用不同 4-gram 占比度量重复,garbled 统计替换字符与控制字符的比例;逐条按四条规则判定,任一超限即丢弃并记录原因。
为什么这样做:三条规则各自覆盖一种失效。k03 的困惑度只有 40.66,因为模板句在语言模型中高度可预测,仅靠困惑度会把它保留,是重复率 0.87 将其删除;k04 是拉丁字母乱码,困惑度 181.87,只有困惑度能识别;k05 同时被困惑度与乱码比命中。k09 的困惑度为 145.41,与阈值 150 相距 3%,若把阈值设为 120,这条包含领域术语的正常文本会被误删。
去掉会怎样:只保留困惑度过滤时,模板与页脚全部通过;只保留规则过滤时,语法通顺但语义混乱的拼接文本通过;不记录原因码时,删除量异常只能整体回看,无法定位是阈值变了还是数据变了。语言模型的绝对困惑度依赖训练语料规模与分词方式,本段数值不可跨数据集比较,只用于说明排序关系。
易错点
以下六条均可在管道日志、对照实验或错误分析中直接检验。
1. 只做精确去重:改写、模板替换与段落重排都会逃过哈希比较。必须补近似去重,并在 0.80 附近用精确 Jaccard 复核;演示语料中仅一处替换就把 从 1.000 拉到 0.905,两处替换降到 0.798。
2. 先划分再全局去重:训练集与验证集之间的近重复仍然存在,指标被记忆抬高。正确顺序是先去重、再按文档分组划分,划分后量化跨集 n-gram 重叠比例。
3. 把困惑度阈值当绝对标准:阈值依赖打分模型、语料与分词,换数据集即失效;领域术语密集的文本会被误删(示例中 k09 为 145.41,阈值 120 时被误删)。阈值只能在人工标注样本上校准并报告保留率。
4. 用基准指标选择过滤阈值:这等价于在测试集上调参,指标随迭代升高而线上不变。阈值选择与最终评估必须使用不同的数据集。
5. 把 或 当作绝对质量分:类别不平衡时两者都会失效,100 个单元中 99 个同判 A、1 个分歧时 ; 还随边际变化,示例中 不变而边际从 变为 , 从 0.733 降到 0.692。
6. 污染检测只跑一次或只用单一 : 从 8 降到 4 时污染率从 0.40 升到 0.80,多出的命中来自通用词组合;数据更新后未重跑则污染率是过期值。
关联笔记
- 前置 数据工程入门:采集、清洗、存储与可复现管道的工程框架,本篇的去重与过滤器挂在它的管道节点上。
- 前置 Pandas数据清洗:分组、索引与连接操作,用于实现按文档分组的划分与跨集重叠统计。
- 后续 指令微调SFT:本篇产出的干净数据集在该篇被转换为对话格式、加上损失掩码并打包训练。
- 后续 继续预训练与领域适配:配比与回放策略在该篇用于抑制灾难遗忘,与这里的有效 epoch 公式配套使用。
- 对照 微调方法全景:不同方法对数据量与数据质量的敏感度不同,LoRA 在小数据上的过拟合风险更高,见 LoRA与QLoRA。
达标检测
- [ ] 写出 MinHash 的无偏性证明,并说明 、 时估计量的标准误,解释为什么阈值附近仍需精确复核。
- [ ] 给定 ,计算相似度为 0.5 与 0.3 的文档对成为候选对的概率,并说明增大 对召回曲线的影响。
- [ ] 用 100 条样本、两类、混淆矩阵 手算 、 与 ;再用 6 单元 3 编码者的例子手算 、 与 。
- [ ] 解释为什么两名编码者、99 个单元同判同一类时 ,并给出该情形下应当补充报告的两个量。
- [ ] 运行第一段代码,把阈值从 0.80 改为 0.90 与 0.70,记录簇的数量与误删情况,并解释原因。
- [ ] 把第二段代码的 改为 6 与 12,给出污染率变化,并说明在中文基准上如何选择 。
- [ ] 设计一个包含精确去重、规则过滤、近似去重、困惑度过滤与污染检测的管道,写出每步的输入输出字段与需要记录的统计量。
参考来源
- Lee et al., "Deduplicating Training Data Makes Language Models Better", ACL 2022, arXiv:2107.06499 —— 对应第 3、4 节的去重动机与近重复删除方法,以及去重对记忆化与训练效率的影响。
- Penedo et al., "The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora with Web Data, and Web Data Only", arXiv:2306.01116, 2023 —— 对应第 6 节的质量过滤流程与阈值校准,以及过滤加去重的组合效果。
- Hugging Face Datasets 官方文档(
load_dataset、map、filter、缓存指纹与数据集卡片) —— 对应第 10、11 节的数据格式校验、可复现处理与划分实现。 - Chip Huyen, Designing Machine Learning Systems, O'Reilly, 2022, 第 4 章「Training Data」 —— 对应第 7 节的采样与配比、第 8 节的标签一致性,以及第 11 节的数据泄漏。
- Krippendorff, K., "Computing Krippendorff's Alpha-Reliability", 2011 —— 对应第 8 节 的重合矩阵定义、缺失值处理与阈值判读。
- Gebru et al., "Datasheets for Datasets", arXiv:1803.09010, 2018 —— 对应第 12 节数据卡的七部分结构与必填字段。