Python实战：用sklearn快速计算5种聚类评估指标（附完整代码示例）

Python实战：5种聚类评估指标的代码实现与深度解析

聚类分析作为无监督学习的重要分支，其效果评估一直是算法应用中的关键环节。本文将深入剖析五种主流聚类评估指标，并提供可直接复用的Python代码实现。不同于简单的API调用指南，我们会从数学原理、适用场景到实战技巧，全方位提升你的聚类评估能力。

1. 轮廓系数：量化聚类紧密度与分离度

轮廓系数(Silhouette Coefficient)通过计算样本与同簇和其他簇的距离关系，提供-1到1之间的量化评分。其核心思想在于：

• 簇内紧密度：样本与同簇其他点的平均距离（a_i）
• 簇间分离度：样本到最近其他簇的平均距离（b_i）

计算公式为：

s_i = (b_i - a_i) / max(a_i, b_i)

1.1 sklearn实现与参数优化

from sklearn.metrics import silhouette_score from sklearn.cluster import KMeans # 生成示例数据 X, _ = make_blobs(n_samples=500, centers=3, random_state=42) # 聚类并计算轮廓系数 kmeans = KMeans(n_clusters=3, random_state=42) labels = kmeans.fit_predict(X) score = silhouette_score(X, labels, metric='euclidean') print(f"轮廓系数: {score:.4f}") # 典型输出范围：0.5-0.7表示良好聚类

关键参数解析：

提示：当数据维度较高时，尝试改用'cosine'距离度量可能获得更好效果

2. Calinski-Harabasz指数：方差比指标

CH指数通过计算簇间离散与簇内离散的比率来评估聚类质量，其数学表达式为：

CH(k) = [B(k)/(k-1)] / [W(k)/(n-k)]

其中B(k)为簇间协方差矩阵的迹，W(k)为簇内协方差矩阵的迹。

2.1 高效计算的实现方案

from sklearn.metrics import calinski_harabasz_score # 沿用之前的聚类结果 ch_score = calinski_harabasz_score(X, labels) print(f"CH指数: {ch_score:.1f}") # 值越高越好，无固定范围

性能对比实验：

我们测试了不同规模数据集下各指标的计算耗时（单位：毫秒）：

注意：CH指数特别适合大规模数据集评估，其计算复杂度仅为O(n)

3. 戴维森堡丁指数(DBI)：最小化类内/类间比

DBI的核心思想是找到最坏的簇间关系情况，其计算公式为：

DBI = (1/k) * Σ max[(σ_i + σ_j)/d(c_i,c_j)]

其中σ_i表示簇i内所有点到质心的平均距离，d(c_i,c_j)表示簇中心距离。

3.1 实现与结果解读

from sklearn.metrics import davies_bouldin_score dbi = davies_bouldin_score(X, labels) print(f"DBI指数: {dbi:.4f}") # 越接近0越好，通常<1为佳

典型问题诊断：

• DBI突然升高可能表明：
  • 存在异常值干扰质心计算
  • 聚类数量设置不合理
  • 数据存在密度差异较大的区域

4. 互信息评分：有监督评估方案

当数据存在真实标签时，调整兰德指数(ARI)和互信息(MI)成为可靠选择：

from sklearn.metrics import adjusted_rand_score, normalized_mutual_info_score # 生成带标签数据 X, y_true = make_blobs(n_samples=500, centers=3, random_state=42) y_pred = KMeans(n_clusters=3, random_state=42).fit_predict(X) ari = adjusted_rand_score(y_true, y_pred) nmi = normalized_mutual_info_score(y_true, y_pred) print(f"ARI: {ari:.4f}, NMI: {nmi:.4f}") # 范围[0,1]，越接近1越好

指标选择指南：

5. 综合评估框架构建

实际项目中建议采用多指标联合评估策略：

def evaluate_clustering(X, labels, y_true=None): metrics = { 'Silhouette': silhouette_score(X, labels), 'CH_index': calinski_harabasz_score(X, labels), 'DBI': davies_bouldin_score(X, labels) } if y_true is not None: metrics.update({ 'ARI': adjusted_rand_score(y_true, labels), 'NMI': normalized_mutual_info_score(y_true, labels) }) return metrics # 使用示例 results = evaluate_clustering(X, labels, y_true) for name, value in results.items(): print(f"{name}: {value:.4f}")

可视化辅助决策：

import matplotlib.pyplot as plt # 绘制指标随K值变化曲线 k_range = range(2, 8) scores = [] for k in k_range: labels = KMeans(n_clusters=k).fit_predict(X) scores.append(silhouette_score(X, labels)) plt.plot(k_range, scores, 'bo-') plt.xlabel('Number of clusters') plt.ylabel('Silhouette Score') plt.grid(True)

在真实项目中使用这些指标时，发现几个实用技巧：

1. 当轮廓系数和CH指数结论冲突时，优先考虑轮廓系数
2. 对于文本聚类，余弦距离通常比欧氏距离更合适
3. 定期检查指标异常波动，可能是数据质量问题的信号