3.1 预训练数据从哪来、怎么洗：数据决定模型上限

3.1 预训练数据从哪来、怎么洗：数据决定模型上限

基于《大规模语言模型：从理论到实践（第2版）》第3章 大语言模型预训练数据

爆款小标题：原书数据章精炼：来源、清洗与对模型能力的影响

为什么这一节重要

原书与业界共识都强调：数据决定模型上限。同样的架构与算力，不同的数据来源、质量与比例会带来完全不同的能力分布——有的模型偏通用对话，有的偏代码，有的多语言好、有的中文强。若不清楚数据从哪来、怎么洗、会带来什么影响，就无法在自建预训练或筛选数据时做正确决策，也难以解释「为什么某个开源模型在你这场景不好用」。本节紧扣原书第 3 章，系统讲清预训练数据的主要来源、常见清洗与去重思路、以及数据对模型能力的影响，并给出工程上的落地要点。

学习目标

学完本节，你将能够：

• 说出主要来源：列举大模型预训练数据的主要类型（网页、书籍、代码、多语言、对话等），并说明不同来源对模型知识广度、代码能力与语言覆盖的影响。
• 理解清洗与去重：说明常见的数据清洗步骤（去重、质量过滤、安全与隐私过滤、格式标准化）及其目的；区分精确去重与近似去重（如 MinHash）的适用规模与代价。
• 建立「数据—能力」意识：在自建或筛选数据时，能建立「来源—质量—用途」的对应表，避免盲目堆量；了解代表性开源数据集（如 The Pile、RedPajama）及其适用场景与许可。

一、预训练数据的主要来源（原书第 3 章）

原书第 3 章对预训练数据的来源与影响做了系统梳理，可归纳为以下几类。

1. 互联网与网页文本