Day 4：分类评估深入（ROC曲线、PR曲线、阈值选择）

Day 4：分类评估深入（ROC曲线、PR曲线、阈值选择）

在机器学习的分类任务中，仅仅关注准确率（Accuracy）往往是危险的，尤其是在数据不平衡的场景下。一个预测所有样本都为负类的模型，在正样本占比仅为1%的数据集上也能获得99%的准确率，但这显然毫无价值。为了深入、全面地评估模型性能，我们需要引入更高级的评估工具和策略。本节将深入理解ROC曲线、PR曲线以及科学的阈值选择方法，从“知其然”进阶到“知其所以然”。

📋 目录

1. 分类评估基础回顾
2. ROC曲线深入理解
3. PR曲线（精确率-召回率曲线）
4. 阈值选择策略
5. 多分类评估扩展
6. 模型比较与选择

第一部分：分类评估基础回顾（1.5小时理论）

1.1 为什么需要深入评估？

简单准确率的局限性：

• 类别不平衡时失效
• 无法评估概率质量
• 不能反映模型在不同阈值下的表现

深入评估的价值：

• 全面理解模型性能
• 根据业务需求选择最优阈值
• 比较不同模型的优劣

1.2 核心概念回顾

一切评估的起点都是混淆矩阵。它将预测结果与真实标签进行交叉对比，形成四个关键区域：

• TP (True Positive)：预测对了，确实是正类。
• TN (True Negative)：预测对了，确实是负类。
• FP (False Positive)：预测错了，把负类当成了正类（误报）。
• FN (False Negative)：预测错了，把正类当成了负类（漏报）。

1.3 混淆矩阵衍生指标

基于混淆矩阵，我们可以计算出多个核心指标：

• 准确率 (Accuracy)：TP+TNTP+TN+FP+FN\cfrac {\text{TP} + \text{TN}} {\text{TP} + \text{TN} + \text{FP} + \text{FN}}TP+TN+FP+FNTP+TN​。所有预测中正确的比例。
• 精确率 (Precision)：TPTP+FP\cfrac {\text{TP}} {\text{TP} + \text{FP}}TP+FPTP​。在所有预测为正的样本中，真正为正的比例。它回答的问题是：“我预测为正的样本，有多大的把握是准确的？”
• 召回率 (Recall) / 真正率 (TPR)：TPTP+FN\cfrac {\text{TP}} {\text{TP} + \text{FN}}TP+FNTP​。在所有实际为正的样本中，被正确预测出来的比例。它回答的问题是：“所有的正样本，我找出了多少？”
• 假正率 (FPR)：FPFP+TN\cfrac {\text{FP}} {\text{FP} + \text{TN}}FP+TNFP​。在所有实际为负的样本中，被错误预测为正的比例。
• 特异度 (TNR)：TNFP+TN\cfrac {\text{TN}} {\text{FP} + \text{TN}}FP+TNTN​。在所有预测为负的样本中，真正为负的比例。

第二部分：ROC曲线深入理解

ROC曲线是评估二分类模型性能最经典的工具之一，它能全面展示模型在不同决策阈值下的表现。

2.1 ROC曲线定义

ROC（Receiver Operating Characteristic，受试者工作特征）曲线以**假正率（FPR）**为横轴，**真正率（TPR，即召回率）**为纵轴。

它是如何通过调整阈值得到的呢？

1. 逻辑回归等模型输出的是一个概率值（例如，股票上涨概率是0.7）。
2. 我们需要设定一个阈值（Threshold）来决定分类。默认是0.5：概率≥0.5判为正，否则为负。
3. 如果我们把阈值从0调到1，每一次变动都会产生一组新的(FPR, TPR)坐标点。
4. 将所有这些点连接起来，就形成了ROC曲线。

2.2 ROC曲线的解读

• 左上角是“黄金点”：坐标(0, 1)代表FPR=0（没有误报）且TPR=1（没有漏报），这是完美的分类器。
• 曲线越靠近左上角，模型性能越好。
• 对角线（虚线）：代表随机猜测的模型（例如抛硬币）。如果你的模型曲线在这条线附近，说明它没有区分能力。
• 曲线下的面积（AUC）：量化了模型的整体性能。

2.3 AUC的含义

AUC (Area Under Curve)：ROC曲线下的面积，取值范围在0.5到1之间。

• AUC = 0.5：随机猜测
• AUC = 0.7-0.8：可接受
• AUC = 0.8-0.9：优秀
• AUC > 0.9：可能过拟合

AUC的概率解释：随机抽取一个正样本和一个负样本，模型给正样本打出的分数高于负样本的概率。例如，AUC=0.8意味着有80%的概率，模型能正确地将正样本排在负样本前面。

2.4 ROC曲线的优缺点

第三部分：PR曲线（精确率-召回率曲线）

当面对极度不平衡的数据集时，PR曲线往往比ROC曲线更能反映模型的真实能力。

3.1 为什么需要PR曲线？

ROC在类别极度不平衡时的问题：

• 负样本很多时，FPR变化不明显
• 模型可能看起来很优秀，但实际上很差

PR曲线更适合：

• 正样本稀少（如欺诈检测、罕见事件预测）
• 关注精确率和召回率

3.2 PR曲线定义

PR曲线：

• X轴：召回率 (Recall=TPTP+FN\text{Recall} = \cfrac {\text{TP}} {\text{TP} + \text{FN}}Recall=TP+FNTP​)
• Y轴：精确率 (Precision=TPTP+FP\text{Precision} = \cfrac {\text{TP}} {\text{TP} + \text{FP}}Precision=TP+FPTP​)

3.3 PR曲线的解读

• 右上角是“黄金点”：代表高精确率和高召回率。
• 曲线越靠近右上角，模型性能越好。
• 曲线下面积（AP）：平均精确率（Average Precision），是PR曲线下的面积，用于量化性能。AP越高越好。

3.4 ROC vs PR曲线对比

第四部分：阈值选择策略

4.1 默认阈值0.5的问题

问题：

• 假设两类错误代价相同
• 不考虑业务场景
• 可能不是最优的

4.2 最大化F1分数

F1=2×(Precision×Recall)Precision+Recall \text{F1} = \cfrac{2\times (\text{Precision} \times \text{Recall})}{\text{Precision} + \text{Recall}}F1=Precision+Recall2×(Precision×Recall)​

策略：选择使F1最大的阈值

# 伪代码best_threshold=argmax(F1(threshold))

4.3 最大化精确率（给定召回率下限）

场景：要求抓住至少80%的机会

策略：在Recall ≥ 0.8的条件下，选择Precision最大的阈值

4.4 最大化召回率（给定精确率下限）

场景：要求信号准确率至少70%

策略：在Precision ≥ 0.7的条件下，选择Recall最大的阈值

4.5 业务成本最小化

成本矩阵：

总成本：
Cost=CTP×TP+CFN×FN+CFP×FP+CTN×TN \text{Cost} = C_\text{TP} \times \text{TP} + C_\text{FN} \times \text{FN} + C_\text{FP} \times \text{FP} + C_\text{TN} \times \text{TN}Cost=CTP​×TP+CFN​×FN+CFP​×FP+CTN​×TN
量化交易示例：

• CFNC_\text{FN}CFN​（漏报）：错过一次上涨，损失潜在收益
• CFPC_\text{FP}CFP​（误报）：错误买入，造成亏损 + 交易成本

第五部分：多分类评估扩展

5.1 多分类ROC和PR

方法：

1. One-vs-Rest (OvR)：为每个类别计算
2. One-vs-One (OvO)：每对类别计算

5.2 宏平均 vs 微平均

5.3 多分类评估指标

fromsklearn.metricsimportclassification_report# 输出每个类别的精确率、召回率、F1print(classification_report(y_true,y_pred))

第六部分：模型比较与选择

6.1 比较方法

1. AUC比较：数值越大越好
2. ROC曲线：曲线越靠近左上角越好
3. PR曲线：曲线越靠近右上角越好
4. 部分AUC：关注特定FPR区间

6.2 统计显著性检验

DeLong检验：比较两个模型的AUC是否有显著差异

fromscipy.statsimportnorm# 计算AUC的置信区间# 检验AUC差异是否显著

6.3 交叉验证评估

fromsklearn.model_selectionimportcross_val_score# 计算CV AUCauc_scores=cross_val_score(model,X,y,cv=5,scoring='roc_auc')print(f"AUC:{auc_scores.mean():.4f}±{auc_scores.std():.4f}")