015、预训练模型（BERT， GPT）原理与迁移学习：从调不通的Embedding层说起

那天下午，我在调试一个文本分类任务。模型在训练集上表现不错，但验证集死活上不去。盯着损失曲线发愣时，突然意识到问题出在Embedding层——我用的是随机初始化的词向量，而训练数据只有几千条样本。这种场景下，想让模型从零学会语言的深层规律，几乎不可能。

这时候，预训练模型的价值就凸显出来了。

预训练的本质：让模型先“读书”

想象一下，你要教一个机器人理解人类语言。有两种方案：一是直接让它处理你的具体任务（比如情感分析），二是先让它读完维基百科、新闻、小说，再微调它做情感分析。后者就是预训练+迁移学习的思路。

BERT和GPT是这条路径上的两个里程碑。它们都是用海量文本（几十GB）预先训练出一个“语言理解专家”，然后我们可以用少量数据微调它，适配下游任务。

BERT：双向的语境捕手

BERT的核心思想是双向编码。传统语言模型（包括GPT）是单向的，从左到右或从右到左预测下一个词，但BERT同时利用左右两侧的上下文。

它用了两个预训练任务：

1. Masked Language Model (MLM)
   随机遮住句子中15%的词，让模型预测这些词。比如：“今天天气很[MASK]，适合出门。” 模型需要根据“今天”“天气”“很”“适合出门”推测被遮住的词可能是“好”或“不错”。这个任务强迫模型理解词与词之间的双向关系。

2. Next Sentence Prediction (NSP)
   给模型两个句子，判断它们是否连续。例如：“今天天气很好。适合出门散步。” vs “今天天气很好。西红柿是水果。” 这个任务让模型学会捕捉句子间逻辑。

BERT的架构是多层Transformer Encoder堆叠。输入句子的每个词经过Embedding层（词向量+位置向量+句子类型向量）后，进入Transformer块进行自注意力计算，最终输出每个词的上下文向量。

# 伪代码示意BERT的Embedding拼接# 实际用HuggingFace Transformers库时不用自己写，这里展示原理token_emb=get_word_embedding(input_ids)# 词向量pos_emb=get_position_embedding(seq_len)