当前位置：首页 > news >正文

最通俗的 LDA 线性判别分析教程

news 2026/6/8 15:11:24

🔥 最通俗的 LDA 线性判别分析教程（本科生/研究生都能懂）

大家好，今天我们来彻底吃透LDA（线性判别分析）。
这是机器学习、模式识别、数据降维里必考、必用、必懂的算法，面试、比赛、写论文都高频出现。

我会用大白话 + 简单数学 + 代码实战，让你从零到会。

一、LDA 到底是什么？一句话讲明白

LDA = 带标签的降维算法
它的目标只有一句话：
把高维数据投影到低维，让同类越紧、异类越远！

同类：类内越紧凑越好
异类：类间越分开越好

二、LDA 和 PCA 的区别（面试必考！）

这是最容易混淆的两个算法，我给你总结成最简单的对比：

项目	PCA（主成分分析）	LDA（线性判别分析）
学习方式	无监督（不要标签）	有监督（必须要标签）
目标	保留最大方差	最大化类间距离，最小化类内距离
用途	降维、去噪、可视化	分类前的特征提取、类别分离
适合场景	不知道类别、只想压缩维度	已知类别、想让类别更分开

一句话总结：
PCA 保信息，LDA 保分类！

三、LDA 的核心思想（超通俗）

想象你有两类数据：苹果、香蕉。
它们在高维空间里混在一起。

LDA 要做的就是：
找一条直线，把所有点投影上去，让苹果堆成一团、香蕉堆成一团，两类离得越远越好！

四、LDA 的数学原理（只讲关键，不讲废话）

LDA 只围绕两个矩阵展开：

1. 类内散布矩阵 Sw（Within-Class）

衡量：同类内部紧不紧凑
同类越紧凑越好，值越小越好。

公式：
SW=∑k=1K∑x∈Ck(x−μk)(x−μk)TS_W = \sum_{k=1}^K \sum_{x \in C_k} (x-\mu_k)(x-\mu_k)^TSW=∑k=1K∑x∈Ck(x−μk)(x−μk)T

2. 类间散布矩阵 Sb（Between-Class）

衡量：类别之间离得远不远
类别越远越好，值越大越好。

公式：
SB=∑k=1KNk(μk−μ)(μk−μ)TS_B = \sum_{k=1}^K N_k (\mu_k-\mu)(\mu_k-\mu)^TSB=∑k=1KNk(μk−μ)(μk−μ)T

五、LDA 的优化目标（最核心）

我们要找一个投影方向 w，让：

J(w)=wTSBwwTSWwJ(w) = \frac{w^T S_B w}{w^T S_W w}J(w)=wTSWwwTSBw

这个比值越大越好！

分子越大：类间越远
分母越小：类内越紧

六、LDA 怎么求解？

非常简单：
对 Sw⁻¹ Sb 做特征值分解，取最大特征值对应的特征向量！

步骤总结：

算每类均值 μk、总体均值 μ
算类内散布 Sw
算类间散布 Sb
求 Sw⁻¹ Sb 的特征向量
取前 r 个特征向量做降维

七、LDA 优点 & 缺点（面试必背）

✅ 优点

带标签降维：比 PCA 更适合分类任务
类别分离极强
计算快，就是矩阵特征分解
结果可解释性高
对高斯分布数据效果特别好

❌ 缺点

只能线性，非线性不行
最大只能降到 K-1 维（K=类别数）
对噪声、异常值敏感
要求数据近似高斯分布
小样本情况下矩阵容易不可逆

八、LDA 适用场景（直接背）

分类任务前的特征降维
人脸识别（经典 Fisherface 就是 LDA）
特征解耦、类别增强
数据可视化（让类别分得更开）
高维数据预处理

九、代码实战：Iris 数据集 LDA 降维（可直接复制）

importnumpyasnpimportmatplotlib.pyplotaspltfromsklearn.datasetsimportload_irisfromsklearn.discriminant_analysisimportLinearDiscriminantAnalysisasLDAimportseabornassns# 加载数据data=load_iris()X=data.data y=data.target labels=data.target_names# ================== LDA 降维 ==================lda=LDA(n_components=2)X_lda=lda.fit_transform(X,y)# ================== 可视化 ==================plt.figure(figsize=(10,6))colors=['red','blue','green']fori,colorinenumerate(colors):plt.scatter(X_lda[y==i,0],X_lda[y==i,1],c=color,label=labels[i],alpha=0.7)plt.title('LDA 降维可视化（4D → 2D）',fontsize=14)plt.xlabel('LDA Component 1')plt.ylabel('LDA Component 2')plt.legend()plt.grid(alpha=0.3)plt.show()# ================== 密度分布图 ==================plt.figure(figsize=(10,4))foriinrange(3):sns.kdeplot(X_lda[y==i,0],fill=True,alpha=0.5)plt.title('LDA 第一分量类别密度分布')plt.legend(labels)plt.show()