不平衡数据集分类评估：ROC与PR曲线对比分析

1. 不平衡数据集分类评估的困境与挑战

在机器学习分类任务中，我们常常会遇到类别分布严重不均衡的数据集。比如在信用卡欺诈检测中，正常交易可能占99.9%，而欺诈交易仅占0.1%；在医疗诊断场景中，健康样本可能远多于患病样本。这种数据分布的不平衡性给模型评估带来了独特挑战。

传统评估指标如准确率(Accuracy)在这种场景下会严重失真。假设一个欺诈检测数据集只有0.1%的正样本，即使模型简单地将所有样本预测为负类，也能获得99.9%的"高准确率"，但这显然是个毫无用处的模型。因此，我们需要更精细的评估工具来洞察模型在少数类上的真实表现。

2. ROC与PR曲线的核心原理剖析

2.1 ROC曲线的工作机制

ROC曲线(Receiver Operating Characteristic curve)通过系统性地调整分类阈值，描绘出真正例率(TPR)与假正例率(FPR)之间的权衡关系。其核心构成要素包括：

• 真正例率(TPR/Recall)：实际为正的样本中被正确预测的比例，计算公式为TP/(TP+FN)
• 假正例率(FPR)：实际为负的样本中被错误预测的比例，计算公式为FP/(FP+TN)

ROC AUC(曲线下面积)衡量的是模型区分正负类的能力，其值为1表示完美分类，0.5相当于随机猜测。ROC曲线的优势在于它对类别分布变化不敏感，因为FPR的计算基于负样本数量，TPR基于正样本数量，两者都是比例指标。

2.2 PR曲线的内在逻辑

PR曲线(Precision-Recall Curve)则聚焦于正类的预测质量，通过精确率(Precision)和召回率(Recall)的权衡来评估模型：

• 精确率(Precision)：预测为正的样本中实际为正的比例，TP/(TP+FP)
• 召回率(Recall)：与TPR相同，反映正类的覆盖程度

PR AUC同样取值0到1之间，但解释方式不同。在高度不平衡数据中，PR曲线能更敏锐地反映模型对少数类的识别能力，因为精确率的分母包含FP，在负类占主导时会放大误判的影响。

关键区别：ROC曲线同时考虑正负类的表现，而PR曲线专门针对正类设计。当负类样本远多于正类时，PR曲线能更敏感地揭示模型缺陷。

3. 三类不平衡数据集的对比实验

3.1 轻度不平衡：Pima印第安人糖尿病数据集

这个经典数据集包含768个样本，糖尿病阳性率约35%。我们构建标准化逻辑回归管道进行评估：

# 数据准备 cols = ["preg","glucose","bp","skin","insulin","bmi","pedigree","age","class"] df = pd.read_csv("https://raw.githubusercontent.com/jbrownlee/Datasets/master/pima-indians-diabetes.data.csv", names=cols) X, y = df.drop("class", axis=1), df["class"] X_train, X_test, y_train, y_test = train_test_split( X, y, stratify=y, test_size=0.3, random_state=42 ) # 建模与评估 clf = make_pipeline( StandardScaler(), LogisticRegression(max_iter=1000) ).fit(X_train, y_train) probs = clf.predict_proba(X_test)[:,1] print(f"ROC AUC: {roc_auc_score(y_test, probs):.3f}") # 输出: 0.838 print(f"PR AUC: {average_precision_score(y_test, probs):.3f}") # 输出: 0.733

实验结果呈现典型模式：PR AUC(0.733)明显低于ROC AUC(0.838)，说明在轻度不平衡情况下，ROC指标可能高估模型的实际效用。此时PR曲线能更真实反映模型在糖尿病识别上的表现。

3.2 中度不平衡：威斯康星乳腺癌数据集

该数据集来自sklearn，包含569个样本，恶性肿瘤占比37%。采用相同评估流程：

data = load_breast_cancer() X, y = data.data, (data.target==1).astype(int) X_train, X_test, y_train, y_test = train_test_split( X, y, stratify=y, test_size=0.3, random_state=42 ) clf = make_pipeline( StandardScaler(), LogisticRegression(max_iter=1000) ).fit(X_train, y_train) probs = clf.predict_proba(X_test)[:,1] print(f"ROC AUC: {roc_auc_score(y_test, probs):.3f}") # 输出: 0.998 print(f"PR AUC: {average_precision_score(y_test, probs):.3f}") # 输出: 0.999

有趣的是，两个指标表现相当接近。这说明当模型本身区分能力极强时（特征与目标相关性高），即使存在一定类别不平衡，ROC指标仍能可靠反映模型性能。这提醒我们：类别不平衡不是选择评估指标的唯一考量因素。

3.3 极端不平衡：信用卡欺诈数据集

这个著名数据集包含284,807笔交易，欺诈率仅0.172%。我们调整逻辑回归的迭代次数：

url = 'https://raw.githubusercontent.com/nsethi31/Kaggle-Data-Credit-Card-Fraud-Detection/master/creditcard.csv' df = pd.read_csv(url) X, y = df.drop("Class", axis=1), df["Class"] X_train, X_test, y_train, y_test = train_test_split( X, y, stratify=y, test_size=0.3, random_state=42 ) clf = make_pipeline( StandardScaler(), LogisticRegression(max_iter=2000) ).fit(X_train, y_train) probs = clf.predict_proba(X_test)[:,1] print(f"ROC AUC: {roc_auc_score(y_test, probs):.3f}") # 输出: 0.957 print(f"PR AUC: {average_precision_score(y_test, probs):.3f}") # 输出: 0.708

结果差异显著：ROC AUC高达0.957，看似优秀；但PR AUC仅0.708，揭示模型对欺诈交易的识别仍有很大改进空间。这种差异在极端不平衡场景中非常典型，验证了PR曲线对少数类评估的敏感性。

4. 实际应用中的选择策略与技巧

4.1 何时选择哪种评估指标

根据三类实验的启示，我们总结以下决策框架：

4.2 实现细节与避坑指南

数据准备阶段：

• 务必使用分层抽样(stratify=y)保持训练集/测试集的类别比例一致
• 对高度不平衡数据，考虑过采样(SMOTE)或欠采样技术，但需在交叉验证循环内进行以避免数据泄露

建模阶段：

• 逻辑回归中设置足够大的max_iter(如2000)，确保收敛
• 对线性模型，标准化(StandardScaler)是必要步骤
• 可尝试class_weight='balanced'自动调整类别权重

评估阶段：

# 获取完整曲线数据的推荐方式 from sklearn.metrics import precision_recall_curve, roc_curve precision, recall, _ = precision_recall_curve(y_test, probs) fpr, tpr, _ = roc_curve(y_test, probs) # 可视化对比 plt.figure(figsize=(12,5)) plt.subplot(121) plt.plot(fpr, tpr, label=f'ROC AUC={roc_auc_score(y_test, probs):.2f}') # ...添加ROC曲线装饰... plt.subplot(122) plt.plot(recall, precision, label=f'PR AUC={average_precision_score(y_test, probs):.2f}') # ...添加PR曲线装饰...

常见陷阱：

1. 在高度不平衡数据中仅依赖ROC AUC会严重高估模型实用性
2. 未设置足够迭代次数导致逻辑回归未收敛
3. 测试集未保持原始类别分布，导致评估失真
4. 忽略业务场景中误分类的实际成本差异

5. 高级应用与延伸思考

5.1 代价敏感学习

在实际业务中，不同类型的错误预测往往具有不对称的成本。例如：

• 医疗诊断中漏诊(False Negative)比误诊(False Positive)代价更高
• 垃圾邮件检测中误判正常邮件(False Positive)比漏判垃圾邮件(False Negative)更不可接受

此时可基于PR曲线选择合适操作点：

# 根据业务需求确定最优阈值 from sklearn.metrics import fbeta_score # 假设漏判欺诈的成本是误判的5倍 betas = [0.5, 1, 2] for beta in betas: scores = [fbeta_score(y_test, probs>t, beta=beta) for t in np.linspace(0,1,100)] optimal_threshold = np.linspace(0,1,100)[np.argmax(scores)] print(f"beta={beta}: 最优阈值={optimal_threshold:.3f}")

5.2 模型校准的重要性

概率输出的校准程度会影响PR曲线的解释。建议：

• 检查校准曲线(Calibration Curve)
• 对逻辑回归等天然校准的模型可放心使用
• 对随机森林等可能过度自信的模型，需应用Platt Scaling或Isotonic Regression进行校准

5.3 多维度评估框架

对于关键业务系统，建议构建综合评估矩阵：

这种框架既包含统计指标，又衔接业务需求，为模型部署提供全面决策依据。