Continue Pretrain
一、Continue Pretrain 的核心目标
Continue Pretrain（增量预训练）的目的：
在不损害通用能力的前提下，增强某个领域能力。
常见场景：
- 行业知识增强（医疗 / 法律 / 金融）
- 新语言能力（如 LLaMA → 中文）
- 长上下文能力（long context）
本质作用很多时候不是增加知识，而是：
重新调整模型的 attention，使其更关注某类信息。
二、Continue Pretrain 的标准训练流程
整体流程可以简化为3 步：
1、 选择是否扩展词表
只有在领域词汇与原词表差异很大时才考虑扩词表。
否则：
优先使用原词表。
2、 Domain Continue Pretrain（核心阶段）
训练时必须同时使用：
domain data + general data原因：
避免灾难性遗忘（Catastrophic Forgetting）。
推荐比例：
general : domain ≈ 1:1 ~ 3:1三、最重要的 5 个工程经验
1、 必须使用 Replay 数据
训练数据必须混入原始通用语料。
否则会出现：
- 通用能力下降
- reasoning 退化
- 英文能力下降
2、 Learning Rate 不要太小
Continue Pretrain 推荐：
learning rate ≈ 1e-4如果太小：
- 学习非常慢
- 领域知识学不进去
3、 Domain 数据比例要逐渐增加
不要突然切换数据比例。
错误：
100% general → 100% domain正确：
4:1 → 2:1 → 1:1这样训练更稳定。
4、 Continue Pretrain 本质是 Attention 调整
很多 continue pretrain 并不是学习新知识，而是：
改变 attention 分布让模型：
- 更关注某些术语
- 更关注某些结构
因此：
| 任务 | 难度 |
|---|---|
| 领域知识 | 容易 |
| 新语言 | 中等 |
| 长上下文 | 最难 |
5、 使用 Scaling Law 预测训练规模
不要盲目决定训练 token 数。
方法：
- 先做小规模实验
- 观察 loss 曲线
- 拟合 scaling law
公式：
loss = aN^-b + c可以预测：
- 需要多少 token
- 最终 loss 能降到多少
四、工程实践中的关键经验
实际训练中常见经验：
数据质量比数据规模更重要
经验：
10B 高质量数据 > 100B 低质量数据五、最终结论（最核心 6 条）
可以把 Continue Pretrain 的原则总结为：
1 目标：增强领域能力但保持通用能力 2 训练必须混入原始数据（replay） 3 learning rate ≈ 1e-4 4 domain 数据比例逐步增加 5 本质是 attention 调整 6 用 scaling law 预测训练规模