哈工大NLP期末考后复盘：从HMM到Transformer，这些知识点你掌握了吗？
哈工大NLP期末考后复盘：从HMM到Transformer的知识图谱重构
刚走出考场的你，是否对试卷上那些似曾相识却又难以准确把握的题目感到懊恼？当HMM概率计算遇上FMM/BMM分词歧义，当最大熵特征向量撞上PCFG文法规则，NLP课程的复杂性在考场上展现得淋漓尽致。这份复盘指南将带你以真题为线索，重新梳理从传统统计模型到前沿神经网络的完整知识框架，帮助你在下一次考试前建立更牢固的认知锚点。
1. 语言学基础与统计模型：考试中的"送分陷阱"
那些看似简单的语言学概念选择题，往往成为区分A与A-的关键。试卷中关于"组合关系与聚合关系"的辨析，实则是考察对语言系统层级的理解：
- 组合关系：线性序列中要素的横向连接（如"吃"+"饭"构成动宾关系）
- 聚合关系：同一位置可替换要素的纵向集合（如"吃"可替换为"煮"/"买"）
统计语言模型部分，HMM的三要素（初始概率、转移概率、发射概率）常以维特比算法计算题形式出现。2022年真题要求计算三个词序列的维特比向量，关键步骤包括：
# 伪代码示例：维特比算法核心 for t in range(1, T): # 时间步遍历 for s in states: # 当前状态 max_prob = -inf for prev_s in states: # 前驱状态 prob = viterbi[t-1][prev_s] * trans[prev_s][s] * emit[s][obs[t]] if prob > max_prob: max_prob = prob backpointer[t][s] = prev_s viterbi[t][s] = max_prob注意：考试中常见错误是混淆转移概率Aij（从状态i到j）与发射概率Bij（状态j生成观测值i）的矩阵维度
2. 分词与特征工程：传统方法的精妙之处
基于字符串匹配的分词方法考察频率惊人地高。FMM（前向最大匹配）与BMM（后向最大匹配）的对比题，本质上是在测试对语言颗粒度的理解：
| 方法 | 切分方向 | 示例"研究生命起源" | 优势场景 |
|---|---|---|---|
| FMM | 从左向右 | 研究/生命/起源 | 词典完备时效率高 |
| BMM | 从右向左 | 研究生/命/起源 | 处理后缀词更准确 |
最大熵模型的特征构建是另一高频考点。当题目给出特征模板（如前词+当前词+后词）时，需要理解特征函数的设计逻辑：
- 定义特征函数f(x,y)：当x满足特定条件且标注为y时返回1
- 特征向量即所有特征函数在当前位置的输出集合
- 模型通过约束特征期望来保持最大熵原则
3. 句法分析与评价指标：形式化表达的难点突破
PCFG（概率上下文无关文法）的考察通常包含三个层面：
- 根据给定句子绘制语法分析树（注意中心词递归结构）
- 补充缺失的文法规则（特别留意终结符的产生式）
- 对比CFG与PCFG的核心差异：
- 每个产生式带有概率参数
- 必须满足同一非终结符产生式概率和为1
- 树概率等于产生式概率乘积
评价指标部分，斯皮尔曼等级相关系数（ρ）的计算常被忽略其本质：
ρ = 1 - 6∑d²/(n³-n)其中d为两个排序的秩次差，这个指标比皮尔逊相关系数更能捕捉单调非线性关系，适合评估词向量质量。
4. 神经网络时代的NLP：从RNN到Transformer的范式迁移
虽然2022年考题中深度学习内容占比有限，但趋势显示Transformer相关知识点正在增加。需要特别掌握的对比维度：
| 模型类型 | 并行性 | 长程依赖 | 典型应用 | 计算复杂度 |
|---|---|---|---|---|
| RNN | 差 | 有限 | 序列标注 | O(n) |
| LSTM | 差 | 较好 | 机器翻译 | O(n) |
| Transformer | 优 | 极佳 | BERT等 | O(n²) |
当遇到"基于RNN的实体抽取"这类题目时，应答框架应包含：
- 输入层的词向量表示
- 双向RNN的时序特征提取
- CRF层的标签序列优化
- 损失函数的端到端训练
5. 实战建议：来自往届考生的血泪经验
那些考后才恍然大悟的细节，往往藏在平时忽略的角落：
- 语料库局限性：标注噪声、领域偏移、时间滞后等问题必须结合具体案例说明
- 交叉验证：k折选择取决于数据规模（小数据取大k）和计算成本
- 伪代码准备：虽然本次未考，但动态规划、EM算法等经典流程仍需手写练习
最后记住，NLP考试不是记忆力的比拼，而是理解力的较量。当你在复习HMM时，不妨思考它与CRF的哲学差异；当练习Transformer时，可以联想其与统计机器翻译的范式革命。这种知识网络的构建，才是应对各种题型的终极武器。