3 种朴素贝叶斯变体对比：高斯 vs 多项式 vs 伯努利，sklearn 实战 5 分钟
3种朴素贝叶斯变体对比：高斯 vs 多项式 vs 伯努利，sklearn实战5分钟
当我们需要快速构建一个分类模型时，朴素贝叶斯算法往往是第一个被考虑的选择。它简单、高效，且在文本分类等场景中表现优异。但在实际应用中，我们常常面临一个关键问题：面对不同类型的数据特征，应该选择哪种朴素贝叶斯变体？
1. 朴素贝叶斯的核心思想与变体选择
朴素贝叶斯分类器基于贝叶斯定理，通过计算后验概率来进行分类决策。其"朴素"之处在于假设所有特征相互独立——这个简化假设虽然在实际中很少完全成立，却使算法获得了极高的计算效率。
在scikit-learn中，主要提供三种变体：
- 高斯朴素贝叶斯(GaussianNB)：假设特征服从正态分布
- 多项式朴素贝叶斯(MultinomialNB)：适用于离散特征和计数数据
- 伯努利朴素贝叶斯(BernoulliNB)：专为二值特征设计
选择哪种变体，取决于数据的本质特征：
| 变体类型 | 适用数据类型 | 典型应用场景 |
|---|---|---|
| GaussianNB | 连续数值特征 | 生物测量、传感器数据 |
| MultinomialNB | 离散计数特征 | 文本分类、词频统计 |
| BernoulliNB | 二值(是/否)特征 | 文档中单词出现与否 |
2. 高斯朴素贝叶斯：处理连续特征
当特征为连续数值时，GaussianNB是最自然的选择。它假设每个类别的特征服从正态分布：
from sklearn.naive_bayes import GaussianNB from sklearn.datasets import load_iris from sklearn.model_selection import train_test_split # 加载鸢尾花数据集 iris = load_iris() X, y = iris.data, iris.target # 划分训练测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3) # 创建并训练模型 gnb = GaussianNB() gnb.fit(X_train, y_train) # 评估准确率 print(f"准确率: {gnb.score(X_test, y_test):.2f}")提示：在实际应用中，如果特征明显不服从正态分布，可以考虑进行对数变换或Box-Cox变换，使数据更接近正态分布。
高斯朴素贝叶斯的关键参数是每个特征在每个类别中的均值和方差。训练过程就是计算这些统计量：
- 均值：
μ = (1/n) * Σx_i - 方差：
σ² = (1/n) * Σ(x_i - μ)²
预测时，计算样本点在高斯分布下的概率密度：
import numpy as np def gaussian_pdf(x, mean, var): """计算高斯概率密度函数""" return np.exp(-(x - mean)**2 / (2 * var)) / np.sqrt(2 * np.pi * var)3. 多项式朴素贝叶斯：文本分类的首选
MultinomialNB是处理离散计数数据的利器，特别适合文本分类任务。它假设特征是由多项式分布生成的，适用于单词计数等场景。
from sklearn.naive_bayes import MultinomialNB from sklearn.feature_extraction.text import CountVectorizer # 示例文本数据 texts = ["这是第一个文档", "这个文档是第二个文档", "第三个文档在这里", "这是第一个文档吗"] labels = [0, 1, 1, 0] # 0表示类别A，1表示类别B # 文本向量化 vectorizer = CountVectorizer() X = vectorizer.fit_transform(texts) # 训练模型 mnb = MultinomialNB(alpha=1.0) # alpha为平滑参数 mnb.fit(X, labels) # 预测新文本 new_text = ["这是第二个文档"] print(f"预测类别: {mnb.predict(vectorizer.transform(new_text))[0]}")多项式朴素贝叶斯的关键计算步骤：
- 计算每个类别的先验概率：
P(y=k) = (N_k + α) / (N + α * K) - 计算条件概率：
P(x_i|y=k) = (N_{ki} + α) / (N_k + α * n)
其中：
N_k：类别k的样本数N_{ki}：类别k中特征i出现的次数α：平滑参数(拉普拉斯平滑)n：特征维度
注意：平滑参数α防止零概率问题，通常设为1(拉普拉斯平滑)，但可以通过交叉验证调整。
4. 伯努利朴素贝叶斯：二值特征专家
BernoulliNB专为二值特征设计，适用于特征表示是否出现(如单词是否在文档中出现)的场景：
from sklearn.naive_bayes import BernoulliNB # 使用相同的文本数据，但转换为二值特征 vectorizer = CountVectorizer(binary=True) X = vectorizer.fit_transform(texts) # 训练模型 bnb = BernoulliNB(alpha=1.0) bnb.fit(X, labels) # 预测 print(f"预测类别: {bnb.predict(vectorizer.transform(new_text))[0]}")与MultinomialNB的区别：
- MultinomialNB考虑特征出现的频率
- BernoulliNB只考虑特征是否出现(0或1)
伯努利模型的条件概率计算：
P(x_i=1|y=k) = (N_{ki} + α) / (N_k + 2α)
其中N_{ki}是类别k中特征i出现的文档数。
5. 实战对比与模型选择指南
让我们在真实数据集上比较三种变体的表现：
from sklearn.datasets import fetch_20newsgroups from sklearn.pipeline import make_pipeline from sklearn.metrics import accuracy_score # 加载20newsgroups数据集 categories = ['sci.space', 'rec.sport.baseball'] newsgroups_train = fetch_20newsgroups(subset='train', categories=categories) newsgroups_test = fetch_20newsgroups(subset='test', categories=categories) # 定义三种模型的pipeline models = { "GaussianNB": make_pipeline(CountVectorizer(), GaussianNB()), "MultinomialNB": make_pipeline(CountVectorizer(), MultinomialNB()), "BernoulliNB": make_pipeline(CountVectorizer(binary=True), BernoulliNB()) } # 训练并评估每个模型 for name, model in models.items(): model.fit(newsgroups_train.data, newsgroups_train.target) pred = model.predict(newsgroups_test.data) print(f"{name}准确率: {accuracy_score(newsgroups_test.target, pred):.2f}")典型输出结果可能如下：
GaussianNB准确率: 0.85 MultinomialNB准确率: 0.96 BernoulliNB准确率: 0.94从结果可以看出，对于文本分类任务：
- MultinomialNB通常表现最佳，因为它利用了词频信息
- BernoulliNB稍逊，但仍优于GaussianNB
- GaussianNB不太适合计数数据，因为它假设连续正态分布
最终选择建议：
- 连续数值数据：优先选择GaussianNB
- 文本/计数数据：
- 如果关注词频 → MultinomialNB
- 如果只关心词是否出现 → BernoulliNB
- 混合类型数据：考虑对不同特征使用不同变体，然后组合结果
在实际项目中，我通常会先尝试MultinomialNB作为基线模型，特别是对于文本分类问题。它的训练速度快，且往往能提供不错的初始结果。对于更复杂的场景，可能需要考虑特征工程或转向更高级的模型，但朴素贝叶斯始终是一个值得尝试的起点。