机器学习-词向量转换2

在上篇中，我们完成了中文文本的清洗、分词、向量化，将原始文本转化为固定维度的词频矩阵。接下来要解决的核心问题是：如何让机器从这些数字中学会判断情感倾向？

本文是系列的下篇，聚焦于分类模型的构建、训练、评估与部署，涵盖朴素贝叶斯家族、数据不平衡处理、防止数据泄漏、模型评估指标与生产环境部署。

四、文本分类模型：从特征到预测

有了词频矩阵（通常非常稀疏），我们需要一个能读懂这些数字模式的模型。

4.1 三种主流文本分类模型对比

💡逻辑回归的辨析：虽然名字带"回归"，但本质是分类模型。通过引入多项式特征或核技巧，可以处理非线性边界。

4.2 朴素贝叶斯的概率基础

朴素贝叶斯是一类基于贝叶斯定理和特征条件独立假设的生成式分类器。

将联合概率拆为单个词概率的乘积，参数估计量从指数级降到线性级。

为什么这个假设"朴素但有效"？实际文本中，单词"非常"和"好"经常一起出现（不独立）。但条件独立假设把联合概率拆成了单个词概率的乘积。尽管这个假设常常不成立，但它极大地减少了参数数量，并且在分类决策中，只需要比较各类别的相对大小，独立假设带来的偏差往往在各类别中方向一致，最终仍能给出较好的排序。

💡 这就是它"朴素"但实用的原因：牺牲精确性，换取计算可行性和可接受的排序性能。

4.3 特征类型决定模型变体

在 scikit-learn 中，朴素贝叶斯因特征分布假设不同而衍生出多种变体：

核心辨析：词频矩阵（CountVectorizer 输出）的值是整数（0, 1, 2, ...），属于离散计数数据。高斯贝叶斯假设特征服从正态分布，强行代入会导致模型错误地计算概率。

✅结论：文本情感分析中，词袋模型得到的是离散计数矩阵，多项式朴素贝叶斯是最直接匹配的选项。

Python

from sklearn.naive_bayes import MultinomialNB model = MultinomialNB(alpha=1.0) # alpha 为拉普拉斯平滑参数 model.fit(X_train_vec, y_train)

4.4 补充朴素贝叶斯——处理不平衡数据

在情感分析中，好评和差评数量往往不均衡（例如好评占 90%）。普通的多项式朴素贝叶斯会偏向先验概率大的类别（好评），导致差评（少数类）的召回率很低。

补充朴素贝叶斯（ComplementNB）的核心思想：对每个类别，不再计算属于该类的概率，而是计算样本不属于该类（即属于其它所有类别的补集）的概率，然后选择补集概率最小的类别作为预测结果。

Python

from sklearn.naive_bayes import ComplementNB model = ComplementNB(alpha=1.0) model.fit(X_train_vec, y_train)

💡为什么补集策略能改善不平衡？多数类（好评）样本量大，补集估计（即不属于差评的样本）非常稳定，能更可靠地捕捉差评的独特特征。实验表明，在处理文本分类不平衡数据集时，ComplementNB 通常优于 MultinomialNB。

五、数据不平衡问题的处理

当差评数据仅 32 条、好评数据 12677 条（比例约 1:396）时，直接训练会导致模型"只要预测为好评就能达到 99.75% 准确率"，完全丧失识别差评的能力。

5.1 核心影响

模型对少数类（差评）的召回率极低，甚至趋近于0。虽然整体准确率很高，但业务目标（发现差评）完全失败。应关注精确率、召回率、F1-score（尤其对少数类）。

5.2 三种主流解决策略对比

5.3 实操建议

由于差评只有32条，过采样（SMOTE）或调整类别权重是合理选择。欠采样会丢掉大量好评，太过浪费。

⚠️关键注意：

• 不要对测试集做任何重采样！测试集必须保持原始分布。

• 调整权重与过/欠采样不能同时滥用，通常只选一种。

• 评估指标要全面：即使少数类F1-score高，也要看多数类的性能是否严重下降。

为什么SMOTE比简单复制更好？简单复制只是重复相同的样本，模型会记住这些样本的“噪声”，导致泛化能力差。SMOTE在少数类样本之间插值，生成的新样本更接近真实分布。但前提是少数类样本不是孤立点，否则SMOTE会产生不合理样本。

六、防止数据泄漏——训练集与测试集的隔离

这是整个预处理流程中最容易犯错的一步，也是面试和考试的高频考点。

6.1 数据泄漏的定义与危害

数据泄漏是指模型在训练过程中，以任何方式“偷看”了本应仅在测试阶段才能接触到的信息，从而使测试集无法公正地反映模型对未知数据的真实泛化能力。

6.2 文本分类中的数据泄漏

如果先对整个数据集进行词向量化，词库的列数是根据全部数据的词频构建的。此时，测试集中的词语会影响到词库的列数（特征数量），导致测试集特征污染训练集。

6.3 核心原则

1. 数据切分必须发生在任何与“特征”相关的统计计算之前

2. 对训练集调用fit或fit_transform

3. 对测试集和新数据只能调用transform

4. 绝对不能再调用fit

python

# ✅ 正确做法 from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split(texts, labels, test_size=0.3) vectorizer = CountVectorizer() X_train_vec = vectorizer.fit_transform(X_train) # 训练集fit+transform X_test_vec = vectorizer.transform(X_test) # 测试集只transform

💡验证方法：训练集和测试集向量矩阵的列数必须相同，都是max_features的值。

七、模型评估：准确率、召回率、F1-score

分类报告会为每个类别输出三项核心指标。

7.1 核心评估指标

7.2 情感分析中的对称性

在情感分析任务中，差评和好评的重要性是对称的。不像医疗系统（更关注召回阳性病例），误判一条好评为差评和误判一条差评为好评，对用户体验的伤害相当。

⚠️关键辨析：不要只看“准确率（Accuracy）”。如果数据集有90%是好评，一个“永远预测好评”的模型也能达到90%准确率，但它完全无法识别差评。必须结合精确率、召回率、F1-score综合评估，特别是少数类的召回率。

7.3 过拟合诊断

对比训练集与测试集的表现：

八、新样本预测与部署

8.1 两个模型都要保存

在部署时，必须同时保存和加载两个模型：

⚠️ 单独加载分类器而忘记加载vectorizer会导致无法转换新样本。

python

import joblib 保存 joblib.dump(vectorizer, 'vectorizer.pkl') joblib.dump(classifier, 'classifier.pkl') 加载 vectorizer = joblib.load('vectorizer.pkl') classifier = joblib.load('classifier.pkl')

8.2 新样本的完整预测流程

python

# 1. 新评论预处理（与训练时完全一致） def preprocess(text): words = jieba.lcut(text) return " ".join(words) processed = preprocess(new_review) 2. 使用训练好的vectorizer进行transform（不能fit！） X_new = vectorizer.transform([processed]) 3. 预测 prediction = classifier.predict(X_new)[0] probability = classifier.predict_proba(X_new)[0]

💡关键点：

• 新样本必须走完全相同的预处理和transform流程，否则特征空间不一致会导致预测失败。

• 如果新文本中有训练集没有的词，这些词会被忽略（不会出现在向量中）。

• 预测阶段绝对不能再调用fit，否则会建立新的词库，导致特征维度不一致。

8.3 部署注意事项