别再死记硬背公式了！用Python手撸一个朴素贝叶斯分类器，从代码里理解原理
从零实现朴素贝叶斯分类器：用Python代码拆解概率魔法
当你第一次看到朴素贝叶斯的数学公式时，是否感觉像在阅读天书？P(A|B) = P(B|A)*P(A)/P(B) —— 这个看似简单的贝叶斯定理，在实际应用中却常常让人摸不着头脑。今天，我们将换一种学习方式：直接从代码入手，通过实现一个完整的朴素贝叶斯分类器，来真正理解其背后的概率魔法。
1. 为什么选择代码优先的学习路径？
传统机器学习教学往往从数学公式开始，但这容易造成理论与实践的脱节。实际上，朴素贝叶斯的核心概念完全可以通过Python的字典和循环来具象化。当我们用代码实现fit方法中的概率统计，以及predict方法中的概率计算时，那些抽象的数学符号会突然变得鲜活起来。
举个例子，条件概率P(特征|类别)在代码中就是一个嵌套字典：
{ '类别A': { '特征1': 0.3, '特征2': 0.7 }, '类别B': { '特征1': 0.8, '特征2': 0.2 } }2. 构建朴素贝叶斯分类器的骨架
让我们从类的初始化开始。一个完整的朴素贝叶斯分类器需要维护两个核心数据结构：
class NaiveBayesClassifier: def __init__(self): # 存储每个类别的先验概率 P(y) self.label_prob = {} # 存储条件概率 P(x|y) self.condition_prob = {}2.1 实现fit方法：从数据中学习概率
fit方法的核心任务是统计两类概率：
- 类别先验概率：每个类别在训练数据中出现的频率
- 条件概率：在每个类别下，各个特征取特定值的概率
def fit(self, feature, label): # 计算类别先验概率 row_num = len(feature) for c in label: self.label_prob[c] = self.label_prob.get(c, 0) + 1 for key in self.label_prob: self.label_prob[key] /= row_num # 初始化条件概率结构 col_num = len(feature[0]) for key in self.label_prob: self.condition_prob[key] = {i: {} for i in range(col_num)} # 统计特征出现次数 for i in range(len(feature)): current_label = label[i] for j in range(len(feature[i])): val = feature[i][j] self.condition_prob[current_label][j][val] = \ self.condition_prob[current_label][j].get(val, 0) + 1 # 转换为概率 for label_key in self.condition_prob: for feature_idx in self.condition_prob[label_key]: total = sum(self.condition_prob[label_key][feature_idx].values()) for val in self.condition_prob[label_key][feature_idx]: self.condition_prob[label_key][feature_idx][val] /= total注意：在实际应用中，为了避免零概率问题，通常会加入拉普拉斯平滑，这里为了简化代码暂时省略。
2.2 实现predict方法：应用贝叶斯定理
预测阶段，我们需要计算每个类别的后验概率，并选择概率最大的类别：
def predict(self, feature): results = [] for f in feature: max_prob = -1 best_label = None for label in self.label_prob: prob = self.label_prob[label] # 先验概率P(y) for j in range(len(f)): # 连乘条件概率P(x_j|y) prob *= self.condition_prob[label][j].get(f[j], 0) if prob > max_prob: max_prob = prob best_label = label results.append(best_label) return results3. 与scikit-learn的实现对比
为了验证我们的实现，让我们对比一下scikit-learn中的MultinomialNB：
| 特性 | 我们的实现 | scikit-learn的MultinomialNB |
|---|---|---|
| 概率估计 | 直接频率统计 | 支持多种平滑方式 |
| 特征类型 | 离散值 | 支持连续值(高斯朴素贝叶斯) |
| 效率 | 纯Python实现 | 高度优化的Cython实现 |
| 功能完整性 | 基础功能 | 支持样本权重、部分拟合等 |
使用scikit-learn实现文本分类的典型流程：
from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import train_test_split # 文本向量化 vectorizer = TfidfVectorizer() X = vectorizer.fit_transform(text_data) # 划分训练测试集 X_train, X_test, y_train, y_test = train_test_split(X, labels) # 训练模型 model = MultinomialNB() model.fit(X_train, y_train) # 评估 accuracy = model.score(X_test, y_test)4. 朴素贝叶斯的实际应用技巧
虽然我们实现的版本相对简单，但在实际应用中，朴素贝叶斯有几个关键点需要注意：
特征工程的重要性：
- 对于文本分类，TF-IDF通常比纯词频效果更好
- 对于连续特征，可以考虑离散化或使用高斯朴素贝叶斯
处理零概率问题：
- 加入拉普拉斯平滑（加一平滑）
- 设置最小概率阈值
对数概率计算：
- 实际实现中通常使用对数概率避免数值下溢
- 将连乘转换为连加
改进后的概率计算示例：
import math log_prob = math.log(self.label_prob[label]) for j in range(len(f)): log_prob += math.log(self.condition_prob[label][j].get(f[j], 1e-10))- 特征选择：
- 使用卡方检验等方法选择信息量大的特征
- 移除停用词和低频词（在文本分类中）
朴素贝叶斯虽然在理论上做了"特征条件独立"的强假设，但在许多实际场景中表现却出奇地好。特别是在文本分类、垃圾邮件过滤等场景，它仍然是baseline模型的首选。