多项式朴素贝叶斯
多项式朴素贝叶斯（二分类）
题意
实现一个Multinomial Naive Bayes二分类器。
train：二维列表，每行最后一列为标签y \in \{0,1\}，其余列为非负整数词频test：二维列表，仅包含词频特征，维度与训练集一致
1. 条件概率（拉普拉斯平滑）
采用拉普拉斯平滑，取k=1k=1k=1：
P(w∣c)=nc,w+1∑w′(nc,w′+1) P(w \mid c)=\frac{n_{c,w}+1}{\sum_{w'}(n_{c,w'}+1)}P(w∣c)=∑w′(nc,w′+1)nc,w+1
其中，nc,wn_{c,w}nc,w表示所有标签为ccc的训练样本中，词www的总词频。
2. 先验概率
πc=NcN \pi_c=\frac{N_c}{N}πc=NNc
其中，NcN_cNc为类别ccc的样本数，NNN为总样本数。
3. 对数后验
对样本xxx，计算：
logP(c∣x)=logπc+∑wxwlogP(w∣c) \log P(c \mid x)=\log \pi_c+\sum_w x_w \log P(w \mid c)logP(c∣x)=logπc+w∑xwlogP(w∣c)
其中，xwx_wxw表示样本xxx中词www的词频。
使用对数有两个好处：
- 避免多个小概率连乘导致下溢
- 将乘法转为加法，计算更稳定
4. 预测规则
logP(1∣x)≥logP(0∣x)⇒y^=1 \log P(1 \mid x)\ge \log P(0 \mid x)\Rightarrow \hat{y}=1logP(1∣x)≥logP(0∣x)⇒y^=1
否则输出：
y^=0 \hat{y}=0y^=0
5. 流程总结
- 读取
train和test - 统计每个类别下各词总频次
- 计算平滑后的P(w∣c)P(w \mid c)P(w∣c)
- 计算先验概率πc\pi_cπc
- 对每个测试样本计算两类对数后验
- 比较大小并输出预测结果
6. 代码实现
importsysimportnumpyasnpimportjson np.random.seed(42)data=json.loads(sys.stdin.read())train_data=np.array(data["train"])# NOTE dtype / astype()test_data=np.array(data["test"])train_x=train_data[:,:-1]train_y=train_data[:,-1].astype(int)test_x=test_data n=len(train_x)v=len(train_x[0])m=len(test_x)res=[]# 先验概率class_count=np.array([(train_y==0).sum(),(train_y==1).sum()])class_prob=class_count/n# 条件概率word_count_0=train_x[train_y==0].sum(axis=0)word_count_1=train_x[train_y==1].sum(axis=0)word_count=np.stack([word_count_0,word_count_1],axis=0)den=word_count.sum(axis=1,keepdims=True)+v condition_prob=(word_count+1)/den log_condition_prob=np.log(condition_prob)log_class_prob=np.log(class_prob)# 预测score0=log_class_prob[0]+(test_x*log_condition_prob[0]).sum(axis=1)score1=log_class_prob[1]+(test_x*log_condition_prob[1]).sum(axis=1)res=(score1>=score0).astype(int).tolist()print(json.dumps(res,separators=(",",":")))# NOTE separators 把空格换成逗号