代价敏感逻辑回归处理不平衡分类问题
1. 不平衡分类问题与逻辑回归的局限性
在机器学习实践中，我们经常会遇到类别分布极不均衡的数据集。想象一下，你正在开发一个信用卡欺诈检测系统，每10000笔交易中可能只有1-2笔是真正的欺诈交易。这种极端不平衡的数据分布给传统机器学习算法带来了巨大挑战，特别是像逻辑回归这样广泛使用的分类算法。
标准逻辑回归通过最小化负对数似然损失函数来拟合模型参数：
minimize Σ[-(y_i * log(p_i) + (1-y_i) * log(1-p_i))]其中y_i是真实标签，p_i是预测概率。这种损失函数设计隐含假设了分类错误的代价是对称的——将正类误判为负类，和将负类误判为正类的惩罚相同。对于平衡数据集，这种假设是合理的，但在不平衡场景下，模型会倾向于偏向多数类，因为这样可以在总体上获得更小的损失值。
我曾在实际项目中遇到过医疗诊断数据集，其中健康样本占比98%，患病样本仅2%。使用标准逻辑回归时，模型简单地将所有样本预测为健康就能达到98%的准确率，这显然对实际应用毫无价值。这就是为什么我们需要专门的技术来处理不平衡分类问题。
2. 代价敏感逻辑回归的核心原理
代价敏感逻辑回归通过引入类别权重来修改原始的损失函数，使其能够区分不同类别分类错误的代价。新的损失函数形式为：
minimize Σ[-(w1 * y_i * log(p_i) + w0 * (1-y_i) * log(1-p_i))]其中w0和w1分别是负类和正类的权重系数。通过为少数类设置更大的权重，我们告诉模型：误判少数类样本的代价更高，因此在参数更新时需要更关注这些样本。
理解权重如何影响模型训练很关键。在梯度下降过程中，每个样本对参数更新的贡献与其误差和类别权重成正比。举例说明：
- 设w1=100，w0=1
- 当模型错误预测一个正类样本时，梯度会放大100倍
- 当错误预测一个负类样本时，梯度保持不变
- 结果是模型会"更努力"学习正确分类正类样本
这种方法的优势在于：
- 不需要改变数据分布（如过采样/欠采样）
- 实现简单，只需修改损失函数
- 可以与正则化等标准技术无缝结合
3. Scikit-learn中的实现与参数配置
Python的scikit-learn库提供了灵活的实现方式。LogisticRegression类中的关键参数是class_weight，支持三种配置方式：
- 预设值：'balanced'自动计算权重
model = LogisticRegression(class_weight='balanced')- 自定义字典：明确指定每个类的权重
weights = {0: 1.0, 1: 50.0} # 少数类(1)权重是多数类(0)的50倍 model = LogisticRegression(class_weight=weights)- None：标准逻辑回归（不推荐用于不平衡数据）
'balanced'模式的计算公式为：
w_j = n_samples / (n_classes * n_samples_j)其中n_samples是总样本数，n_classes是类别数，n_samples_j是第j类的样本数。对于之前的医疗数据示例（98%负类，2%正类）：
w_negative = 10000/(2*9800) ≈ 0.51 w_positive = 10000/(2*200) = 25这种自动权重分配通常能取得不错的效果，但可能不是最优解。
4. 权重调优与网格搜索策略
虽然'balanced'模式提供了合理的默认值，但通过网格搜索精细调整权重往往能获得更好的性能。以下是系统化的调优方法：
4.1 构建参数网格
设计一个覆盖多种权重比率的搜索空间：
param_grid = [ {'class_weight': [{0: 1, 1: 1}, # 基准线 {0: 1, 1: 10}, # 适度倾斜 {0: 1, 1: 100}, # 强烈倾斜 {0: 10, 1: 1}, # 反向倾斜(通常不推荐) {0: 100, 1: 1}]} # 极端反向 ]4.2 选择评估指标
对于不平衡分类，准确率是糟糕的指标。应选择：
- ROC AUC：综合考量真阳性率和假阳性率
- F1-score：精确率和召回率的调和平均
- 精确率-召回率曲线下面积(PR AUC)
from sklearn.metrics import make_scorer, f1_score scorer = make_scorer(f1_score, average='binary')4.3 执行网格搜索
使用分层交叉验证确保每折保持类别分布：
from sklearn.model_selection import GridSearchCV grid = GridSearchCV( estimator=LogisticRegression(solver='lbfgs'), param_grid=param_grid, scoring='roc_auc', cv=RepeatedStratifiedKFold(n_splits=5, n_repeats=3), n_jobs=-1 ) grid.fit(X, y)4.4 结果分析
输出最佳参数组合和所有配置的表现：
print(f"Best AUC: {grid.best_score_:.3f} with {grid.best_params_}") results = pd.DataFrame(grid.cv_results_) results.sort_values(by='mean_test_score', ascending=False)实际项目中，我曾通过这种方法发现对于某个信用卡欺诈数据集，{0:1, 1:75}的权重比预设的'balanced'模式（约1:50）表现更好，使召回率提高了8%。
5. 实践中的注意事项与技巧
5.1 类别权重的合理范围
虽然理论上权重可以任意设置，但实践中需注意：
- 过大的权重会导致模型对少数类过拟合
- 极端权重可能引发数值不稳定
- 建议从'balanced'计算的权重出发，在10倍范围内搜索
5.2 与采样技术的结合
代价敏感学习可以与采样技术联合使用：
- 先使用SMOTE生成合成样本
- 再应用加权逻辑回归
- 这种组合往往比单独使用任一种方法效果更好
5.3 类别权重的动态调整
对于在线学习场景，可以设计自适应权重策略：
- 初始使用'balanced'权重
- 监控近期样本的分类表现
- 动态调整权重以应对分布变化
5.4 多分类问题的处理
scikit-learn也支持多分类场景的权重设置：
# 三类问题，假设类别2最稀有 weights = {0: 1.0, 1: 5.0, 2: 20.0} model = LogisticRegression(multi_class='multinomial', class_weight=weights)5.5 模型校准
加权可能扭曲预测概率的输出，如需概率校准：
from sklearn.calibration import CalibratedClassifierCV calibrated = CalibratedClassifierCV( base_estimator=LogisticRegression(class_weight={0:1, 1:100}), cv=3 ) calibrated.fit(X_train, y_train)6. 性能评估与对比实验
为了全面评估代价敏感逻辑回归的效果，我们需要设计严谨的实验方案：
6.1 基准模型建立
首先建立三个对比模型：
- 标准逻辑回归（无权重）
- 随机过采样+标准逻辑回归
- SMOTE+标准逻辑回归
6.2 评估指标选择
除了ROC AUC，还应考虑：
- 精确率-召回率曲线
- 特定业务指标（如捕获率@K）
- 训练/预测时间
6.3 结果可视化
使用matplotlib创建对比图表：
plt.figure(figsize=(10,6)) for name, model in models.items(): y_pred = model.predict_proba(X_test)[:,1] fpr, tpr, _ = roc_curve(y_test, y_pred) plt.plot(fpr, tpr, label=f'{name} (AUC={roc_auc_score(y_test, y_pred):.3f})') plt.plot([0,1],[0,1],'k--') plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.legend() plt.show()6.4 统计显著性检验
使用McNemar检验比较模型差异：
from statsmodels.stats.contingency_tables import mcnemar # 假设y_pred1和y_pred2是两个模型的预测结果 table = [[sum((y_pred1==y_test) & (y_pred2==y_test)), sum((y_pred1!=y_test) & (y_pred2==y_test))], [sum((y_pred1==y_test) & (y_pred2!=y_test)), sum((y_pred1!=y_test) & (y_pred2!=y_test))]] result = mcnemar(table, exact=True) print(f'p-value: {result.pvalue:.4f}')7. 实际应用案例与经验分享
在电商异常订单检测项目中，我们遇到了严重的类别不平衡问题（正常订单99.7%，异常0.3%）。经过多次实验，总结出以下经验：
权重设置不是越大越好。开始时我们使用了1:500的极端权重，虽然召回率提高了，但精确率下降到不可接受的程度。最终通过网格搜索确定的1:120权重取得了业务可接受的平衡。
特征工程比算法选择更重要。在应用代价敏感学习前，我们花费大量时间构建了：
- 用户行为时序特征
- 设备指纹相似度
- 交易网络特征 这些特征显著提升了模型区分能力。
在线部署时需要监控权重效果。我们实现了动态权重调整机制：
def update_weights(current_weights, performance_metrics): recall = performance_metrics['recall'] if recall < target_recall: return {0: current_weights[0], 1: current_weights[1] * 1.2} # 逐步增加少数类权重 else: return current_weights模型解释性很重要。使用SHAP值解释预测：
import shap explainer = shap.Explainer(model) shap_values = explainer(X_sample) shap.plots.beeswarm(shap_values)这帮助业务团队理解模型决策依据。
代价敏感逻辑回归是不平衡分类问题中强大而灵活的工具。通过合理设置类别权重并结合其他技术，可以在保持逻辑回归简洁优点的同时，显著提升对少数类的识别能力。关键在于深入理解业务需求，系统化地实验不同配置，并建立全面的评估体系。