为什么去重会误删

训练数据去重最容易犯的错，不是删不干净，而是把高价值样本一起删掉。⚠️ 当指令微调语料混进模板答案、合成样本和人工标注样本后，单看哈希或相似度阈值，往往会把长尾问题、硬负例和金标答案当成重复噪声。

更麻烦的是，去重目标如果只盯删除率，很快就会偏离训练目标。📌 真正该保住的不是绝对唯一，而是来源不同、表达相近但信息增量更高的样本；它们往往决定模型在边界场景里会不会突然掉线。

[外链图片转存中…(img-mQRBlVck-1777612718449)]

为什么去重会误删

很多团队先做MD5，再做MinHash或embedding相似度。🧭 这个顺序本身没错，问题在于它只回答“像不像”，不回答“值不值”。同一句话如果来自不同版本、不同标注员或不同任务切片，训练价值并不一样。

更常见的误区是把近似重复和语义重复混成一个桶。🚨 近似重复适合压缩冗余，语义重复却可能包含更强的监督信号；如果阈值一刀切，删掉的往往不是噪声，而是最能拉开模型上限的边界样本。

一次复盘怎么做

在一套约12万条指令微调样本的抽样复盘里，团队把三种策略并排看：纯哈希、语义去重、带保真回收的混合策略。🧪 结果很直观，纯哈希最省算力，却几乎不处理改写样本；语义去重更狠，但对硬负例和金标样本的误伤也最大。

defkeep_sample(sample,seen_hashes,seen_vectors):ifsample.kindin{"gold","eval","hard_negative"}:returnTrueifsample.md5inseen_hashes:returnFalsesim=max(cosine(sample.vec,v)forvinseen_vectors)ifseen_vectorselse0.0score=0.45*sample.minhash+0.35*sim+0.20*sample.value_scorereturnscore<0.82

这段逻辑背后的意思很简单：去重不是一刀切，而是“评分 + 例外”。✅ 只要样本被打上金标、评测集、硬负例这类标签，就应该优先保留；其余样本再按相似度和价值分打分，才不会把训练信号一起删掉。

真正该保留什么

笔者更倾向把去重看成数据版本治理，而不是清洗任务。🔧 每次删除都要能追到来源、阈值、版本和保留原因，否则后面一旦出现回归，团队根本说不清到底是模型退化，还是数据被误删。

更稳的做法是给样本建立“保留优先级”。📊 生产事故复盘、长尾问题集、人工修正样本和新版本事实文档，通常都不该和普通重复样本放在同一条删除链路里；它们应该走白名单、人工复核或延迟删除。

[外链图片转存中…(img-3g2x3yI1-1777612718459)]

未来 3 到 6 个月

接下来，训练数据治理会从“离线去重”走向“切片保留”。🧩 也就是说，系统不再只算相似度，还会同时看任务类型、来源可信度、标注质量和历史回归表现，最后给出可解释的保留理由。

一句话总结：去重的目标不是把语料删得越少越好，也不是删得越狠越好，而是让每一次删除都对训练结果负责。⭐ 你们现在做数据去重时，优先保住的是重复率，还是模型最需要的那批边界样本？