惩罚Logistic回归：从梯度下降到坐标下降的3种求解算法实现

惩罚Logistic回归：从梯度下降到坐标下降的3种求解算法实现

1. 理解惩罚Logistic回归的核心机制

当我们面对高维数据或特征间存在多重共线性时，标准Logistic回归容易陷入过拟合困境。惩罚Logistic回归通过在损失函数中引入正则化项，实现了模型复杂度的控制与特征选择的双重目标。

损失函数的演变： 标准Logistic回归的损失函数（对数似然损失）可表示为：

def log_loss(y_true, y_pred): return -np.mean(y_true * np.log(y_pred) + (1-y_true)*np.log(1-y_pred))

引入正则化项后，目标函数变为：

J(β) = -log_likelihood(β) + λ·P(β)

其中P(β)代表惩罚项，λ控制惩罚强度。

正则化类型对比：

提示：L1正则化会产生稀疏解，适合特征选择场景；L2正则化更适合处理共线性问题

2. 梯度下降法的实现与优化

2.1 标准梯度下降实现

基础梯度下降算法通过沿负梯度方向迭代更新参数：

def gradient_descent(X, y, learning_rate=0.01, n_iters=1000): n_samples, n_features = X.shape weights = np.zeros(n_features) for _ in range(n_iters): linear_pred = np.dot(X, weights) y_pred = 1 / (1 + np.exp(-linear_pred)) # 计算梯度 gradient = np.dot(X.T, (y_pred - y)) / n_samples # 参数更新 weights -= learning_rate * gradient return weights

收敛特性分析：

• 固定学习率可能导致震荡或收敛缓慢
• 损失函数下降曲线呈指数衰减趋势
• 迭代次数与特征维度呈线性关系

2.2 加入L2惩罚的梯度下降

只需在梯度计算中添加正则化项：

gradient = (np.dot(X.T, (y_pred - y)) + lambda_ * weights) / n_samples

关键参数影响：

• λ过大：模型欠拟合（所有系数趋近0）
• λ过小：正则化效果不明显
• 建议采用网格搜索确定最优λ

3. 坐标下降法专攻L1正则化

3.1 算法原理剖析

坐标下降法的核心思想是：

1. 每次仅优化一个维度参数
2. 固定其他参数作为常量
3. 循环迭代直至收敛

对于L1惩罚项，其不可导特性使得梯度下降失效，而坐标下降可以完美解决：

def coordinate_descent(X, y, lambda_, n_iters=100): n_samples, n_features = X.shape beta = np.zeros(n_features) for _ in range(n_iters): for j in range(n_features): # 计算残差 r = y - 1/(1+np.exp(-np.dot(X, beta))) + X[:,j]*beta[j] # 软阈值操作 z = np.dot(X[:,j], r) / n_samples beta[j] = np.sign(z) * max(abs(z) - lambda_, 0) return beta

3.2 特征选择可视化

通过调整λ值观察系数路径：

λ值变化路径： [1.0 → 0.8 → 0.6 → 0.4 → 0.2 → 0.1] 对应系数变化： β1: [0 → 0.2 → 0.5 → 0.7 → 0.9 → 1.1] β2: [0 → 0 → 0 → 0.3 → 0.6 → 0.8]

注意：当λ足够大时，某些系数会精确变为零，实现自动特征选择

4. 算法对比与工程实践

4.1 性能基准测试

我们在乳腺癌数据集上进行对比实验：

4.2 实际应用建议

• 高维小样本：优先使用L1正则化+坐标下降
• 特征相关性高：选择L2正则化
• 需要解释性：LASSO提供清晰的特征重要性
• 计算资源有限：坐标下降内存效率更高

代码实现技巧：

# 早停法实现 best_loss = float('inf') patience = 5 counter = 0 for epoch in range(max_epochs): loss = update_parameters() if loss < best_loss: best_loss = loss counter = 0 else: counter += 1 if counter >= patience: break

在真实项目中，我发现特征标准化对惩罚模型尤为重要——未标准化的特征会导致正则化项不公平地惩罚不同尺度的特征。此外，使用 warm start 技术（用前一个λ的解初始化下一个λ的优化）可以显著加速正则化路径计算。