当前位置：首页 > news >正文

从概率视角解析Logistic回归中的交叉熵损失函数

news 2026/4/14 10:42:29

1. 从概率论到交叉熵：理解Logistic回归的底层逻辑

我第一次接触交叉熵损失函数时，完全被这个看似复杂的公式吓到了。直到后来从概率论的角度重新审视它，才发现这个设计简直精妙绝伦。让我们从一个简单的例子开始：假设你正在玩一个猜硬币正反面的游戏，每次猜测都有一定概率正确。如何衡量你的预测准确度？这就是概率模型要解决的问题。

在Logistic回归中，我们实际上是在建立一个概率模型。给定输入特征x，模型输出的是属于正类的概率P(y=1|x)。这个概率通过sigmoid函数（也叫Logistic函数）映射到(0,1)区间：

def sigmoid(z): return 1 / (1 + np.exp(-z))

这个函数的形状非常特别——它将任何实数输入"挤压"到0和1之间，正好符合概率的定义。当θᵀx=0时，概率正好是0.5；随着θᵀx增大，概率趋近于1；减小则趋近于0。

2. 交叉熵损失函数：为什么它如此特别

2.1 从最大似然估计到交叉熵

交叉熵损失函数不是凭空捏造的，它实际上源自统计学中的最大似然估计(MLE)思想。想象你在玩一个游戏：给你一组参数θ，你需要找到使观察到的数据最有可能发生的θ值。这就是MLE的核心思想。

对于二分类问题，我们可以写出似然函数： L(θ) = ∏[hθ(xⁱ)]ʸⁱ [1-hθ(xⁱ)]¹⁻ʸⁱ

取对数后（因为对数函数单调递增，且能化积为和）： ℓ(θ) = ∑[yⁱlog(hθ(xⁱ)) + (1-yⁱ)log(1-hθ(xⁱ))]

为了让这个对数似然最大化，我们取其相反数并求平均，就得到了交叉熵损失函数： J(θ) = -1/m ∑[yⁱlog(hθ(xⁱ)) + (1-yⁱ)log(1-hθ(xⁱ))]

2.2 交叉熵的直观解释

交叉熵衡量的是两个概率分布之间的差异。在分类问题中，一个是真实分布（y的0/1值），一个是预测分布（hθ(x)）。当预测完全正确时，交叉熵为0；差异越大，交叉熵值越大。

举个例子，假设真实y=1：

如果预测hθ(x)=0.9，交叉熵≈0.105
如果预测hθ(x)=0.1，交叉熵≈2.302

可以看到，当预测远离真实值时，损失函数值急剧增大，这对模型训练非常有利。

3. 交叉熵求导：为什么Logistic回归的梯度如此简洁

3.1 一步步推导梯度公式

让我们详细推导交叉熵损失函数对参数θⱼ的偏导数。这是理解Logistic回归训练过程的关键。

从损失函数出发： J(θ) = -1/m ∑[yⁱlog(hθ(xⁱ)) + (1-yⁱ)log(1-hθ(xⁱ))]

首先计算log(hθ(xⁱ))和log(1-hθ(xⁱ))的导数： ∂log(hθ(xⁱ))/∂θⱼ = (1/hθ(xⁱ)) * ∂hθ(xⁱ)/∂θⱼ ∂log(1-hθ(xⁱ))/∂θⱼ = (-1/(1-hθ(xⁱ))) * ∂hθ(xⁱ)/∂θⱼ

而hθ(xⁱ) = σ(θᵀxⁱ)，其中σ是sigmoid函数，有一个很好的性质： σ'(z) = σ(z)(1-σ(z))

因此： ∂hθ(xⁱ)/∂θⱼ = hθ(xⁱ)(1-hθ(xⁱ)) * xⱼⁱ

将这些组合起来： ∂J(θ)/∂θⱼ = -1/m ∑[yⁱ(1-hθ(xⁱ))xⱼⁱ - (1-yⁱ)hθ(xⁱ)xⱼⁱ] = 1/m ∑[(hθ(xⁱ)-yⁱ)xⱼⁱ]

这个结果出奇地简洁！

3.2 梯度公式的直观意义

得到的梯度公式告诉我们： ∂J(θ)/∂θⱼ = 1/m ∑(预测值 - 真实值) * 特征值

这个形式有几个重要特点：

当预测完全正确时（hθ(xⁱ)=yⁱ），梯度为0，参数不再更新
更新方向取决于误差的符号和大小
每个特征对梯度的贡献与其值成正比

这种线性形式的梯度使得Logistic回归的训练非常高效，特别是配合优化算法如梯度下降时。

4. 为什么交叉熵比平方误差更适合分类

4.1 平方误差在分类问题中的缺陷

初学者可能会问：为什么不用更直观的平方误差损失？让我们看看会发生什么。

平方误差损失： J(θ) = 1/2m ∑(hθ(xⁱ) - yⁱ)²

求导后： ∂J(θ)/∂θⱼ = 1/m ∑(hθ(xⁱ)-yⁱ) * hθ(xⁱ)(1-hθ(xⁱ)) * xⱼⁱ

与交叉熵的梯度相比，多了一个hθ(xⁱ)(1-hθ(xⁱ))项。这个项在hθ(xⁱ)接近0或1时会变得非常小，导致梯度消失问题，使得学习速度变慢。

4.2 交叉熵的优势

相比之下，交叉熵损失：

梯度不会饱和，即使预测非常错误也能保持较大的梯度
训练过程更加稳定和快速
与最大似然估计有理论联系
对错误分类的惩罚更严厉

在实际应用中，我遇到过使用平方误差的Logistic回归模型训练速度明显慢于交叉熵的情况，特别是在类别不平衡的数据集上。

5. 实际应用中的技巧与注意事项

5.1 数值稳定性问题

在实现交叉熵损失时，直接计算log(hθ(x))可能会遇到数值不稳定的问题，特别是当hθ(x)接近0时。一个实用的技巧是使用log-sum-exp技巧：

def stable_cross_entropy(y, h): # 避免log(0)的情况 return -np.mean(y * np.log(np.clip(h, 1e-10, 1.0)) + (1-y) * np.log(np.clip(1-h, 1e-10, 1.0)))

5.2 正则化的考虑

为了防止过拟合，通常会加入L1或L2正则化项。例如，L2正则化的交叉熵损失：

J(θ) = -1/m ∑[yⁱlog(hθ(xⁱ)) + (1-yⁱ)log(1-hθ(xⁱ))] + λ/2m ∑θⱼ²

这时的梯度变为： ∂J(θ)/∂θⱼ = 1/m ∑(hθ(xⁱ)-yⁱ)xⱼⁱ + λ/m θⱼ

5.3 多分类问题的扩展

虽然本文讨论的是二分类问题，但交叉熵可以自然地扩展到多分类问题（使用softmax函数）。在多分类情况下，交叉熵损失的形式类似，只是需要对所有类别求和：

J(θ) = -1/m ∑∑ yₖⁱlog(hθ(xⁱ)ₖ)

其中k表示类别索引。这保持了与二分类情况下相似的良好性质。

6. 从理论到实践：一个完整的例子

让我们用一个简单的Python实现来验证前面的理论。我们将使用NumPy手动实现Logistic回归：

import numpy as np class LogisticRegression: def __init__(self, lr=0.01, num_iter=100000, fit_intercept=True): self.lr = lr self.num_iter = num_iter self.fit_intercept = fit_intercept def __add_intercept(self, X): intercept = np.ones((X.shape[0], 1)) return np.concatenate((intercept, X), axis=1) def __sigmoid(self, z): return 1 / (1 + np.exp(-z)) def __loss(self, h, y): return (-y * np.log(h) - (1 - y) * np.log(1 - h)).mean() def fit(self, X, y): if self.fit_intercept: X = self.__add_intercept(X) self.theta = np.zeros(X.shape[1]) for i in range(self.num_iter): z = np.dot(X, self.theta) h = self.__sigmoid(z) gradient = np.dot(X.T, (h - y)) / y.size self.theta -= self.lr * gradient def predict_prob(self, X): if self.fit_intercept: X = self.__add_intercept(X) return self.__sigmoid(np.dot(X, self.theta)) def predict(self, X, threshold=0.5): return self.predict_prob(X) >= threshold

这个实现包含了我们讨论的所有关键要素：