深度学习面试高频考点精讲
1. Transformer架构与自注意力机制
Transformer模型彻底改变了自然语言处理领域，其核心在于自注意力机制（Self-Attention）。想象一下人类阅读文章时的场景：当我们看到某个词时，会下意识地关联上下文中的其他词汇来理解其含义。自注意力机制正是模拟这种认知过程的技术实现。
自注意力计算涉及三个关键向量：Query（查询）、Key（键）和Value（值）。具体计算过程可以分为以下步骤：
- 将输入词向量分别与三个权重矩阵相乘，生成Q、K、V向量
- 计算注意力分数：score = Q·K^T / √d_k （d_k是向量维度）
- 对分数进行softmax归一化
- 用归一化后的分数加权求和V向量
# 自注意力计算示例 def self_attention(Q, K, V): d_k = Q.size(-1) scores = torch.matmul(Q, K.transpose(-2, -1)) / math.sqrt(d_k) attention = torch.softmax(scores, dim=-1) return torch.matmul(attention, V)多头注意力（Multi-Head Attention）就像同时使用多组不同的"眼镜"观察数据。每组注意力头可以学习关注不同方面的特征，比如一个头关注语法结构，另一个头关注语义关系。这种设计不仅增强了模型的表达能力，还能并行计算提高效率。
位置编码是Transformer的另一大创新。由于模型没有RNN的时序结构，需要通过位置编码注入序列顺序信息。常用的正弦位置编码公式为：
PE(pos,2i) = sin(pos/10000^(2i/d_model)) PE(pos,2i+1) = cos(pos/10000^(2i/d_model))
这种编码方式能够很好地处理长序列，并且可以外推到训练时未见过的序列长度。
2. BERT及其预训练任务
BERT（Bidirectional Encoder Representations from Transformers）通过两种创新的预训练任务，实现了深度双向语言表征学习。第一个任务是掩码语言模型（Masked Language Model, MLM），随机遮盖输入文本中15%的token，其中：
- 80%替换为[MASK]标记
- 10%替换为随机token
- 10%保持原词不变
这种巧妙的设计解决了预训练与微调阶段的不匹配问题，同时赋予了模型一定的文本纠错能力。第二个任务是下一句预测（Next Sentence Prediction, NSP），让模型判断两个句子是否是连续的文本，这有助于学习句子级别的语义关系。
BERT的词嵌入由三部分组成：
- Token Embedding：词汇本身的语义表示
- Segment Embedding：区分句子A和句子B
- Position Embedding：表示token在序列中的位置
# BERT输入表示示例 word_embedding = token_embedding(input_ids) segment_embedding = segment_embedding(segment_ids) position_embedding = position_embedding(position_ids) final_embedding = word_embedding + segment_embedding + position_embedding在实际应用中，BERT的微调非常灵活。只需在预训练模型基础上添加一个简单的输出层，就可以适应各种下游任务。例如：
- 单句分类任务（如情感分析）：使用[CLS]标记的表示
- 序列标注任务（如NER）：使用每个token的表示
- 问答任务：使用两个输出向量分别预测答案起止位置
3. 模型优化算法对比
深度学习模型的训练效果很大程度上取决于优化算法的选择。Adam优化器结合了动量法和RMSProp的优点，成为当前最流行的选择。其参数更新公式为：
m_t = β₁·m_{t-1} + (1-β₁)·g_t v_t = β₂·v_{t-1} + (1-β₂)·g_t² m̂_t = m_t / (1-β₁^t) v̂_t = v_t / (1-β₂^t) θ_t = θ_{t-1} - α·m̂_t / (√v̂_t + ε)
不同优化器的适用场景：
- SGD：理论收敛性好，适合凸优化问题
- Momentum：加速收敛，减少震荡
- Adagrad：适合稀疏数据，自动调整学习率
- Adam：默认推荐，适应大多数场景
学习率调度策略同样重要。常见的方法包括：
- 阶梯下降：每N个epoch将学习率乘以γ
- 余弦退火：周期性调整学习率
- Warmup：训练初期逐步增大学习率
# Adam优化器使用示例 optimizer = torch.optim.Adam(model.parameters(), lr=0.001, betas=(0.9, 0.999)) scheduler = torch.optim.lr_scheduler.CosineAnnealingLR(optimizer, T_max=10)梯度裁剪是训练深层网络的实用技巧，特别是处理RNN时。当梯度范数超过阈值时，按比例缩放梯度向量：
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm=1.0)4. 模型评估与调优
在分类任务中，准确率往往不能全面反映模型性能，特别是类别不平衡时。ROC曲线通过绘制真正例率（TPR）与假正例率（FPR）的关系，直观展示分类器在不同阈值下的表现。
AUC（Area Under Curve）量化了ROC曲线的性能，其计算可以理解为：随机选取一个正样本和一个负样本，分类器对正样本的预测值高于负样本的概率。AUC=0.5表示随机猜测，AUC=1表示完美分类。
from sklearn.metrics import roc_auc_score y_true = [0, 1, 0, 1] y_scores = [0.1, 0.4, 0.35, 0.8] auc = roc_auc_score(y_true, y_scores)交叉验证是评估模型泛化能力的重要手段。k折交叉验证将数据分为k份，轮流用k-1份训练，1份验证，最后取平均性能：
- 保持数据分布的一致性
- 充分利用有限数据
- 减少评估结果的方差
超参数调优的常用方法包括：
- 网格搜索：遍历指定的参数组合
- 随机搜索：从参数分布中采样
- 贝叶斯优化：基于历史评估结果智能搜索
在实际项目中，我经常使用早停法（Early Stopping）防止过拟合。当验证集性能在连续N个epoch没有提升时，终止训练并回滚到最佳模型。这不仅能节省训练时间，还能获得更泛化的模型。