10.吴恩达机器学习——无监督学习01聚类与异常检测算法

从本节开始，正式进入无监督学习课程部分

一、什么是聚类

聚类（Clustering）是机器学习领域的一种无监督学习方法，其核心目标是将数据集中的样本划分为若干个子集（称为簇，Cluster），使得同一簇内的样本之间相似度较高，而不同簇之间的样本相似度较低。聚类不需要预先标注的标签数据，而是通过样本自身的特征分布自动发现数据内在的结构模式。

二、K均值算法

K均值算法会做两件事：将点分配给聚类中心，移动聚类

(1)算法步骤

1. 随机猜测你可能要求算法找到的聚类的中心，示例中首先随机找两个点作为聚类中心

1. 算法会遍历的计算每个数据点与聚类中心的距离，离谁更近，这个数据点就归为这一类
2. 查看所有经过第一次分配后的相同类点，并取该类点的平均值作为该类的新中心，更新聚类中心（这里是对红色和蓝色分别操作）

3. 接着重复之前的步骤，直到聚类中心不再有太大变化

(2)算法实现

注意，如果存在一个数据点没有被聚类，通常是删除这个点

(3)算法优化

1. 算法代价函数定义

1. 初始化聚类中心

之前提到的初始化是随机点，而聚类算法中常用的是用训练数据集中的K个点作为初始化的聚类中心，而这K个点的选择要使得当前的代价函数最低，便是最优，图中红框部分既是最优

采用多次随机初始化，暴力找到最优

(4)选择聚类数量

1. 肘部法则（Elbow Method）

该方法计算不同K值下的簇内平方和（Within-Cluster Sum of Squares, WCSS），即每个样本到其所属聚类中心的距离平方和。随K增加，WCSS会迅速下降后趋于平缓。绘制WCSS随K变化的曲线，寻找曲线拐点（类似于“肘部”）作为最优K，该点之后WCSS下降幅度显著减小，表示进一步增加K的收益递减。

以下为肘部法则的典型曲线示例：

2. 其他考虑因素

• 领域知识：在实际应用中，常结合业务理解预估合理K值（如客户分群中的预期细分数量）。
• 多种方法结合：单一方法可能产生歧义，推荐同时使用肘部法、轮廓系数法和间隙统计法进行交叉验证。
• 局限性：这些方法均为启发式，当数据簇形状不规则、重叠严重或噪声较多时，可能无法给出清晰最优K，此时可考虑其他聚类算法（如DBSCAN，无需指定K）。

在实践中，可通过编程库（如Python的scikit-learn）实现上述评估，遍历合理K范围（通常从2到√n，n为样本数）并比较指标。

三、异常检测算法

(1)基本概念

• 实现异常检测算法最常用的是一种叫密度估计的技术，当得到m个样本时，你需要做的是建立一个x的概率模型，也就是找出特征最有可能出现的值，和最不可能出现的值
• 我们认为密度越大的区域，特征取值概率越高，就越正常，越稀疏就表示可能存在问题，当我们的x_test的概率p(x_test)小于某个阈值时候，我们就需要将其标记为异常，从而进行检测

(2)算法构建

下图中的p(x)表示样本x的概率

步骤如下：

1. 选择n个特征xi，这些特征可能指示异常样本
2. 为特征拟合参数μ和σ^2
3. 给出一个新样本x_test，计算p(x),判断是否小于阈值，如果是就标记为异常

(3)异常检测系统开发和评估

对于一些我们已知目标值的数据，我们常常可以进行数值估计来评估模型的优劣，并对模型做进一步的调整。示例如下：

• 训练集使用正常的数据，
• 交叉验证集和测试集我们可以使用一部分正常的数据，并且加入一部分异常的数据
• 观察模型是否能够正确地将异常数据找出来，并且将正常地数据识别为正常；
• 这里我们常常需要调整阈值地大小，或者是增加或者删除特征值，以此来调整模型的准确度。
• 在交叉验证集或者测试集上实际评估算法：可以使用到之前讲过的评估参数对交叉验证集和测试集进行评估（精确率、召回率、F1分数），因为我们已知目标值。

四、高斯分布(正态分布）

(1)基本概念

高斯分布（Gaussian distribution），亦称为正态分布（Normal distribution），是一种最重要的连续概率分布，由德国数学家卡尔·弗里德里希·高斯命名。其概率密度函数（PDF）定义如下：

其中：

• μ为均值（mean），决定分布的中心位置；
• σ为标准差（standard deviation），σ^2为方差，决定分布的分散程度。

(2)主要特性

• 图形特征：呈现对称的钟形曲线（bell curve），峰值位于均值μ处，随偏离均值距离增加而迅速衰减。

• 对称性：关于均值μ完全对称，均值、中位数和众数均等于μ。
• 经验法则（68-95-99.7规则）：约68%的数据落在μ±σ范围内，95%落在μ±2σ内，99.7%落在μ±3σ内。
• 线性性质：若X∼N(μ,σ^2)，则aX+b∼N(aμ+b,a^2σ^2)。
• 标准正态分布：当μ=0,σ=1时，称为标准正态分布N(0,1)，常用于Z分数转换。

五、异常检测VS监督学习

选择异常检测

• 当我们只有少量正样本和相对大量的负样本时，异常检测算法通常是更合适的选择，我们可以使用负样本来构建p(x)模型，模型参数只从负样本中学习得到
• 较小的正样本只用于交叉验证集和测试集中的参数调优评估
• 如果你认为你的任务中有许多不同类型的异常或者许多不同类型的正样本
• 未来的异常可能从未出现

选择监督学习

• 如果你有大量正样本和负样本时候，选择监督学习算法可能更好
• 理想情况下，有足够的正样本来让算法了解正样本的样子
• 监督学习中，我们倾向于假设未来的正样本可能与训练集中的正样本相似

示例如下

六、异常检测算法特征选择

(1)特征不是高斯分布

如果原始特征不是高斯分布情况，我们需要对其进行数据变化，让其符合高斯分分布，变化的方式方法如上图所示

请记住：不管你对训练集做了什么改变，交叉验证集和测试集也需要有对应的变化

(2)算法在交叉验证集上表现不佳

查看算法在哪些方面表现不佳从而来改进算法，一般来说，如果存在一个异常样本，但其现有特征和正常样本相似，这个时候就需要我们查看这个异常样本，找到一些新的特征，从而将其与正常样本区分开来