当前位置：首页 > news >正文

机器学习指标解析：AUC与KS值

news 2026/4/24 22:47:12

import numpy as np from sklearn.metrics import confusion_matrix y_pred = [0, 1, 0, 1] # 模型预测结果 y_true = [0, 1, 1, 0] # 真实标签 print('混淆矩阵:\n', confusion_matrix(y_true, y_pred)) # 输出： # [[1 1] # [1 1]] ## accuracy from sklearn.metrics import accuracy_score y_pred = [0, 1, 0, 1] y_true = [0, 1, 1, 0] print('ACC:', accuracy_score(y_true, y_pred)) # 输出 ACC: 0.5 ## Precision,Recall,F1-score from sklearn import metrics y_pred = [0, 1, 0, 1] y_true = [0, 1, 1, 0] print('Precision', metrics.precision_score(y_true, y_pred)) print('Recall', metrics.recall_score(y_true, y_pred)) print('F1-score:', metrics.f1_score(y_true, y_pred)) # 输出： # Precision 0.5 # Recall 0.5 # F1-score: 0.5

简单案例分析：

真实标签y_true = [0, 1, 1, 0]：我们把0看作 “狗（负类）”，1看作 “猫（正类）”，所以真实样本是：[狗, 猫, 猫, 狗]
预测结果y_pred = [0, 1, 0, 1]：模型的判断是：[狗, 猫, 狗, 猫]

AUC 计算代码：

import numpy as np from sklearn.metrics import roc_auc_score y_true = np.array([0, 0, 1, 1]) # 真实标签 y_scores = np.array([0.1, 0.4, 0.35, 0.8]) # 模型预测的置信度分数 print('AUC socre:', roc_auc_score(y_true, y_scores)) # 输出：AUC socre: 0.75

y_true = [0, 0, 1, 1]：真实标签，我们把0看作狗（负类），1看作猫（正类）。所以这里有 2 只狗、2 只猫。
y_scores = [0.1, 0.4, 0.35, 0.8]：模型给每张图打的 “是猫的置信度”，分数越高，模型越认为它是猫。

AUC 的全称是ROC 曲线下的面积，它的本质含义是：

随机抽一只猫和一只狗，模型给猫打的置信度分数，比给狗打的分数高的概率。

用这个例子验证一下：

所有「猫 vs 狗」的组合有2×2=4种：
1. 猫 (0.8) vs 狗 (0.4)：猫分数更高 ✅
2. 猫 (0.8) vs 狗 (0.1)：猫分数更高 ✅
3. 猫 (0.35) vs 狗 (0.4)：猫分数更低 ❌
4. 猫 (0.35) vs 狗 (0.1)：猫分数更高 ✅
猫分数更高的情况有 3 种，所以 AUC = 3/4 = 0.75

怎么理解 AUC 数值？

AUC 越接近 1，说明模型越能把猫和狗区分开（几乎所有猫的分数都比狗高）。
AUC=0.5 时，模型和 “瞎猜” 没区别，猫和狗的分数是随机的。
AUC<0.5 时，模型反而把猫和狗搞反了，相当于 “反向预测”

二、第二部分：KS 值计算代码

from sklearn.metrics import roc_curve y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1] y_true = [0, 1, 1, 0, 1, 0, 1, 1, 1, 1] # 计算ROC曲线的FPR和TPR FPR, TPR, thresholds = roc_curve(y_true, y_pred) # 计算KS值：FPR和TPR之间的最大差值 KS = abs(FPR - TPR).max() print('KS值: ', KS) # 输出：KS值: 0.5238095238095237