面试题：预训练模型详解——GPT、BERT、T5 结构与训练目标、预训练微调范式、Transformers 加载 BERT 实战全解析
1. 为什么“预训练模型”会成为 NLP 面试高频题？
1.1 这道题表面考模型，实质考的是一条技术主线
面试官问预训练模型，通常不是单纯想听你背几个模型名字，而是想看你是否理解：NLP 为什么从传统的“每个任务单独训练一个模型”，转向了“先预训练一个大模型，再迁移到具体任务”的范式。
这条主线串起了 GPT、BERT、T5，也串起了后来的大模型时代。所以，回答这类题时，最好的方式不是孤立讲每个模型，而是先把“预训练模型”的总体逻辑讲清，再分别介绍代表模型。
2. 什么是预训练模型？
2.1 用一句人话解释
预训练模型，就是先在海量通用文本上训练一个“懂语言”的基础模型，让它学会词与词之间的关系、句子之间的规律、常见知识表达方式；然后再把这个基础模型迁移到具体任务上，比如文本分类、命名实体识别、问答、翻译、摘要、对话生成等。
2.2 为什么这种思路比从零训练更有效？
因为大多数下游任务的数据都不够大。如果每个任务都从零训练，很容易数据不够、成本太高、效果也不稳定。预训练模型等于先在大语料里打好“语言底子”，再到具体任务里做针对性适配。
3. GPT 的结构和预训练目标是什么？
3.1 GPT 的结构特点
GPT 的核心结构是 Decoder-only Transformer，也就是只保留 Transformer 的解码器部分。它没有 BERT 那样的编码器，也不走 T5 那种完整的编码器—解码器路线。
因为是生成式模型，所以 GPT 在每一步生成当前词时，只能看当前位置之前的内容，不能偷看后面的词。这就是它为什么要配合因果掩码。
3.2 GPT 的预训练目标
GPT 的训练目标可以概括成一句话：给定前文，预测下一个词。也就是说，模型总是在做“续写”这件事。
这种目标也叫自回归语言模型。它的好处是非常自然地对应生成任务，因此 GPT 很适合做对话、写作、摘要生成、代码生成等任务。
3.3 面试时怎么总结 GPT？
可以这样答：GPT 是一个 Decoder-only 的预训练模型，采用自回归语言建模方式进行预训练，核心目标是根据前面的上下文预测下一个 token，因此特别擅长文本生成。
4. BERT 的结构和预训练目标是什么？
4.1 BERT 的结构特点
BERT 采用的是 Encoder-only Transformer，也就是只保留编码器部分。它的每个位置都可以同时看到左边和右边的上下文，因此特别适合理解型任务。
相比 GPT 的“单向生成”，BERT 更强调“双向理解”。这也是它能在很多分类、匹配、抽取、阅读理解任务上表现优秀的重要原因。
4.2 BERT 的预训练目标
BERT 最经典的预训练目标有两个。第一个是 MLM，也就是 Masked Language Model：随机把句子里的部分词遮住，让模型根据左右文去猜被遮住的词。第二个是 NSP，也就是 Next Sentence Prediction：让模型判断句子 B 是否是句子 A 的下一句。
虽然很多后续模型对 NSP 的使用有不同看法，但在经典面试题里，MLM 和 NSP 仍然是理解 BERT 的标准答案。
4.3 面试时怎么总结 BERT？
可以这样答：BERT 是一个 Encoder-only 的预训练模型，通过 MLM（以及经典版本中的 NSP）进行预训练，能够学习深度双向上下文表示，因此更适合理解类任务。
5. T5 的结构和预训练目标是什么？
5.1 T5 的结构特点
T5 使用完整的 Encoder-Decoder Transformer 结构，既有编码器负责理解输入，又有解码器负责生成输出。
这使得 T5 同时具备理解和生成的能力，它不像 GPT 那样强偏生成，也不像 BERT 那样强偏理解，而是采取了一种更加统一的任务视角。
5.2 T5 的核心思想：Text-to-Text
T5 最有代表性的地方，不只是结构本身，而是它提出了一种非常统一的建模思路：所有 NLP 任务都改写成“输入文本 → 输出文本”。
比如做分类，可以把输入写成“sst2 sentence: 这部电影真好看”，输出写成“positive”；做翻译可以把输入写成“translate English to Chinese: hello”，输出写成“你好”；做摘要、问答也都可以变成文本生成。
5.3 面试时怎么总结 T5？
可以这样答：T5 是一个 Encoder-Decoder 结构的预训练模型，它把各种 NLP 任务统一为 text-to-text 形式，因此兼顾理解和生成，具有很强的统一建模能力。
6. GPT、BERT、T5 的区别到底是什么？
6.1 先从结构看
GPT 是 Decoder-only；BERT 是 Encoder-only；T5 是 Encoder-Decoder。
6.2 再从预训练目标看
GPT 主要做下一个词预测；BERT 主要做遮盖词预测；T5 则强调统一为 text-to-text 任务。
6.3 从能力倾向看
GPT 更偏生成，BERT 更偏理解，T5 两者兼顾。
7. “预训练—微调”范式是什么？
7.1 这套范式的核心逻辑
所谓“预训练—微调”范式，就是先在海量通用语料上进行预训练，学出一个具备通用语言能力的基础模型；再在具体任务数据上做微调，让模型适应下游任务。
这是一种“先通用、后专用”的迁移学习思想。
7.2 为什么它会改变 NLP 训练范式？
因为在预训练阶段，模型已经从海量数据中学会了通用表达规律。到了具体任务时，不需要再从零开始，而只需要在已有能力基础上做轻量适配。这样既节省数据，也降低训练成本。
7.3 微调一定是全参数吗？
不一定。最传统的是全参数微调，但在模型越来越大的情况下，也经常使用只训练少量参数的参数高效微调方式，比如 LoRA、Adapter 等。面试里如果能顺带提一句，会显得更完整。
8. 如何使用 transformers 加载 Bert 模型？
8.1 最常见的标准写法
实际开发中，最常见的做法是使用 Hugging Face 的 transformers 库，通过 from_pretrained 方法加载 tokenizer 和 model。
8.2 代码逻辑如何理解？
第一步，选择模型名，比如 bert-base-chinese；第二步，加载 tokenizer 负责分词和张量化；第三步，加载 model；第四步，把文本通过 tokenizer 变成模型可接受的输入；第五步，调用 model 获取输出表示。
8.3 Auto 类和 BertModel 有什么区别？
AutoTokenizer、AutoModel 这种 Auto 类更加通用，未来切换到其他模型时基本不需要改太多代码；而 BertTokenizer、BertModel 更直接，适合明确知道自己就是在使用 BERT 时的写法。
8.4 不同任务该怎么加载？
如果只是想拿到 BERT 的基础向量表示，可以用 AutoModel 或 BertModel；如果做文本分类，通常用 AutoModelForSequenceClassification；如果做问答，则使用对应的任务模型类。
9. 面试高频追问，建议这样回答
9.1 GPT 的结构和预训练目标是什么？
答：GPT 是 Decoder-only Transformer，通过自回归语言建模进行预训练，核心目标是根据前文预测下一个 token，因此擅长生成任务。
9.2 BERT 的结构和预训练目标是什么？
答：BERT 是 Encoder-only Transformer，经典预训练目标是 MLM 和 NSP，强调双向上下文理解，因此更适合理解类任务。
9.3 T5 的结构和预训练目标是什么？
答：T5 使用 Encoder-Decoder 结构，把各种任务统一成 text-to-text 的输入输出形式，因此兼顾理解与生成。
9.4 “预训练—微调”范式是什么？
答：就是先在大规模通用语料上做预训练，获得基础语言能力，再在具体任务数据上做微调，使模型适应下游任务。
9.5 如何使用 transformers 加载 Bert 模型？
答：通常先用 AutoTokenizer.from_pretrained 加载分词器，再用 AutoModel.from_pretrained 或具体任务模型类加载模型，最后把 tokenizer 编码后的输入送入模型即可。
10. 总结：真正高质量的回答，不是背模型名字，而是讲清“范式”
如果把这道题浓缩成一句话，那就是：预训练模型的核心思想，是先在海量通用语料上学习语言规律，再迁移到具体任务；GPT、BERT、T5 则分别代表了三种最经典的结构与训练思路。
面试里真正能拉开差距的，不是你能背出几个缩写，而是你能否把“结构 → 训练目标 → 能力倾向 → 适用场景 → 实际使用方式”这一条逻辑线讲顺。只要这条线顺了，回答就会非常专业、清晰。
附：30 秒面试快答模板
“预训练模型就是先在海量通用语料上学语言规律，再迁移到具体任务。GPT 是 Decoder-only，通过预测下一个词进行预训练，擅长生成；BERT 是 Encoder-only，通过遮盖词预测等目标进行预训练，更擅长理解；T5 是 Encoder-Decoder，把各种任务统一成 text-to-text。实际使用时，可以通过 transformers 的 AutoTokenizer 和 AutoModel.from_pretrained 来加载 BERT 模型。”