当前位置：首页 > news >正文

别再只盯着PCA了！用Python手写LDA降维，从鸢尾花数据分类实战讲起

news 2026/5/24 12:12:26

别再只盯着PCA了！用Python手写LDA降维，从鸢尾花数据分类实战讲起

当数据科学家面对高维数据时，降维技术总是工具箱中的首选武器。大多数人的第一反应是PCA（主成分分析），这个无监督学习的经典方法确实能有效压缩数据维度。但如果你正在处理分类问题，有一种更聪明的选择——LDA（线性判别分析），它能同时完成降维和优化分类边界这两项任务。

鸢尾花数据集作为机器学习界的"Hello World"，完美展示了LDA的独特价值。这个包含3类鸢尾花、4个特征（萼片长度、萼片宽度、花瓣长度、花瓣宽度）的数据集，经过LDA处理后能清晰呈现类别间的分界线。与PCA只考虑总体方差不同，LDA主动寻找最能区分类别的投影方向，这种有监督的特性使其在分类任务中往往表现更优。

1. LDA与PCA的本质区别：从数学到直觉

核心思想差异决定了这两种降维方法适用于不同场景。PCA追求的是数据在低维空间中的最大方差保留，完全无视样本标签；而LDA则明确利用类别信息，寻找使类间距离最大化、类内距离最小化的投影方向。

用直观的例子理解：假设你正在区分猫和狗的图片，PCA会找到图片变化最大的方向（可能是背景颜色差异），而LDA则会聚焦于耳朵形状、鼻子特征等真正区分物种的关键部位。这就是为什么在分类任务中，LDA通常能带来更好的效果。

数学表达上，LDA通过以下优化目标寻找最佳投影方向w：

argmax_w (w^T S_b w)/(w^T S_w w)

其中：

S_b是类间散度矩阵（Between-class scatter matrix）
S_w是类内散度矩阵（Within-class scatter matrix)

关键计算步骤如下表对比：

步骤	PCA	LDA
核心矩阵	协方差矩阵	类内/类间散度矩阵
优化目标	最大化投影方差	最大化类间/类内方差比
是否需要标签	否	是
输出维度上限	特征数	类别数-1

2. 从零实现LDA：鸢尾花数据集实战

让我们用Python一步步实现LDA算法，并在鸢尾花数据集上验证其效果。与原文使用随机数据不同，我们选择这个经典数据集能更直观展示LDA的分类优势。

首先准备环境与数据：

import numpy as np import matplotlib.pyplot as plt from sklearn.datasets import load_iris # 加载鸢尾花数据集 iris = load_iris() X = iris.data y = iris.target feature_names = iris.feature_names target_names = iris.target_names # 数据标准化 X = (X - np.mean(X, axis=0)) / np.std(X, axis=0)

LDA的核心实现代码如下，注意我们扩展了原文的二分类实现到多分类场景：

def lda(X, y, n_components=2): # 计算每个类的均值向量 class_labels = np.unique(y) mean_vectors = [] for cl in class_labels: mean_vectors.append(np.mean(X[y==cl], axis=0)) # 计算类内散度矩阵Sw Sw = np.zeros((X.shape[1], X.shape[1])) for cl, mv in zip(class_labels, mean_vectors): class_sc_mat = np.zeros((X.shape[1], X.shape[1])) for row in X[y == cl]: row, mv = row.reshape(X.shape[1],1), mv.reshape(X.shape[1],1) class_sc_mat += (row - mv).dot((row - mv).T) Sw += class_sc_mat # 计算总体均值 overall_mean = np.mean(X, axis=0).reshape(X.shape[1],1) # 计算类间散度矩阵Sb Sb = np.zeros((X.shape[1], X.shape[1])) for i, mean_vec in enumerate(mean_vectors): n = X[y==i].shape[0] mean_vec = mean_vec.reshape(X.shape[1],1) Sb += n * (mean_vec - overall_mean).dot((mean_vec - overall_mean).T) # 计算Sw^-1 * Sb的特征值和特征向量 eig_vals, eig_vecs = np.linalg.eig(np.linalg.inv(Sw).dot(Sb)) # 按特征值大小排序特征向量 eig_pairs = [(np.abs(eig_vals[i]), eig_vecs[:,i]) for i in range(len(eig_vals))] eig_pairs = sorted(eig_pairs, key=lambda k: k[0], reverse=True) # 选择前n_components个特征向量 W = np.hstack([eig_pairs[i][1].reshape(X.shape[1],1) for i in range(n_components)]) # 投影到新空间 X_lda = X.dot(W) return X_lda

注意：实际应用中可以直接使用sklearn的LDA实现，但手动实现能帮助我们深入理解算法原理。生产环境推荐使用sklearn.discriminant_analysis.LinearDiscriminantAnalysis

3. 可视化对比：LDA vs PCA的效果差异

理论说了这么多，最直观的方式还是看图说话。我们分别用LDA和PCA对鸢尾花数据进行二维降维，并对比结果：

from sklearn.decomposition import PCA # 应用LDA和PCA X_lda = lda(X, y, n_components=2) X_pca = PCA(n_components=2).fit_transform(X) # 绘制结果 plt.figure(figsize=(12, 5)) plt.subplot(1, 2, 1) for target, color in zip([0,1,2], ['r', 'g', 'b']): plt.scatter(X_lda[y==target, 0], X_lda[y==target, 1], c=color, label=target_names[target]) plt.title('LDA投影结果') plt.xlabel('LD1') plt.ylabel('LD2') plt.legend() plt.subplot(1, 2, 2) for target, color in zip([0,1,2], ['r', 'g', 'b']): plt.scatter(X_pca[y==target, 0], X_pca[y==target, 1], c=color, label=target_names[target]) plt.title('PCA投影结果') plt.xlabel('PC1') plt.ylabel('PC2') plt.legend() plt.tight_layout() plt.show()

从可视化结果可以明显看出：

LDA投影：三个类别被清晰地分开，特别是setosa（红色）与其他两类完全分离
PCA投影：versicolor（绿色）和virginica（蓝色）有较多重叠，分类边界模糊

这种差异在分类任务中会直接转化为准确率的提升。实验表明，在同样的分类器（如SVM）下，LDA降维后的数据通常能获得比PCA高5-15%的分类准确率。

4. LDA的实战技巧与常见陷阱

虽然LDA在分类任务中表现出色，但实际应用中仍需注意以下关键点：

数据预处理要求：

LDA假设数据服从正态分布，对于严重偏态的特征需要进行转换
不同类别样本量严重不均衡会影响Sw矩阵的计算
必须进行特征标准化（如我们代码中所做），否则量纲差异会扭曲距离计算

维度限制：

LDA最多能降到"类别数-1"维，对于二分类问题只能得到一维投影
当特征数远大于样本数时（如基因数据），Sw可能不可逆，需要正则化处理

代码优化技巧：

# 使用scipy的pinv代替inv提高数值稳定性 from scipy.linalg import pinv eig_vals, eig_vecs = np.linalg.eig(pinv(Sw).dot(Sb)) # 对于大数据集，使用增量计算避免内存问题 def partial_fit_lda(X_batch, y_batch, Sw=None, Sb=None, n_samples_seen=0): # 增量更新Sw和Sb ...

常见错误排查：

遇到奇异矩阵错误：检查是否有类别样本数为1，或尝试添加小的正则化项
投影结果不理想：确认标签是否正确，或尝试先进行PCA预处理
计算效率低下：对于高维数据，先使用PCA降到适度维度再应用LDA

5. 进阶应用：LDA在现实项目中的创新用法

除了基础的降维分类，LDA还可以在这些场景中创造价值：

特征工程增强：

将LDA投影后的坐标作为新特征加入原始数据
使用LDA距离作为样本间的相似性度量
在多标签问题中，为每个标签单独训练LDA并组合结果

# 多标签LDA���征增强示例 from sklearn.multiclass import OneVsRestClassifier from sklearn.discriminant_analysis import LinearDiscriminantAnalysis ova_lda = OneVsRestClassifier(LinearDiscriminantAnalysis()) X_enhanced = np.hstack([X, ova_lda.fit_transform(X, y)])

异常检测应用：