当前位置：首页 > news >正文

低秩表示模型LRR实战：Python实现多视角聚类，5步代码复现

news 2026/7/8 23:19:54

低秩表示模型LRR实战：Python实现多视角聚类的5步代码复现

当面对高维复杂数据时，如何有效提取其内在的低维结构一直是机器学习领域的核心挑战。低秩表示模型（Low-Rank Representation, LRR）作为一种强大的数学工具，能够从噪声干扰的数据中恢复出清晰的子空间结构。本文将带您从零开始，用Python实现LRR模型在多视角聚类中的完整流程。

1. 环境准备与数据加载

在开始之前，我们需要配置合适的Python环境并准备实验数据。推荐使用Anaconda创建虚拟环境以避免依赖冲突：

conda create -n lrr_env python=3.8 conda activate lrr_env pip install numpy scipy scikit-learn matplotlib

我们将使用Caltech7数据集作为示例，这是一个包含7类物体、每个物体有6种不同特征表示的多视角数据集。首先实现数据加载器：

import numpy as np from sklearn.datasets import fetch_openml def load_caltech7(): """加载Caltech7多视角数据集""" data = fetch_openml('Caltech7', version=1) views = [] for i in range(6): # 6个视角 view = np.array([sample[i] for sample in data['data']]) views.append(view.astype(np.float32)) labels = data['target'].astype(int) return views, labels # 数据标准化处理 def normalize_views(views): from sklearn.preprocessing import StandardScaler return [StandardScaler().fit_transform(v) for v in views]

2. LRR模型构建与优化求解

LRR的核心思想是通过低秩约束来捕捉数据的全局结构。其数学模型可以表示为：

min‖Z‖* + λ‖E‖₂,₁
s.t. X = XZ + E

其中‖·‖*表示核范数（矩阵奇异值之和），‖·‖₂,₁用于建模列稀疏噪声。我们使用ADMM算法求解这个优化问题：

from scipy.linalg import svd class LRR_ADMM: def __init__(self, lambda_=0.1, rho=1.0, max_iter=100): self.lambda_ = lambda_ # 正则化参数 self.rho = rho # 惩罚系数 self.max_iter = max_iter def fit(self, X): """ADMM算法求解LRR问题""" n = X.shape[1] Z = np.zeros((n, n)) E = np.zeros_like(X) Y = np.zeros_like(X) # 拉格朗日乘子 for _ in range(self.max_iter): # 更新Z U, s, Vt = svd(X.T @ (X - E) + Y/self.rho, full_matrices=False) s_thresh = np.maximum(s - 1/self.rho, 0) Z = U @ np.diag(s_thresh) @ Vt # 更新E R = X - X @ Z + Y/self.rho norm_col = np.linalg.norm(R, axis=0) scale = np.maximum(1 - self.lambda_/(self.rho*norm_col), 0) E = R * scale # 更新拉格朗日乘子 Y += self.rho * (X - X @ Z - E) self.Z = Z self.E = E return Z, E

3. 多视角融合策略

对于多视角数据，我们需要设计有效的融合机制。这里采用张量约束的低秩表示方法：

def multi_view_lrr(views, lambda_=0.1): """多视角LRR融合""" from numpy.linalg import norm n_views = len(views) n_samples = views[0].shape[0] # 初始化共享表示矩阵Z Z_shared = np.zeros((n_samples, n_samples)) Z_list = [] for v in views: lrr = LRR_ADMM(lambda_=lambda_) Z, _ = lrr.fit(v.T) # 注意转置使维度匹配 Z_list.append(Z) Z_shared += Z # 平均融合后归一化 Z_shared /= n_views Z_shared = (Z_shared + Z_shared.T) / 2 # 确保对称 # 谱聚类预处理 D = np.diag(1/np.sqrt(np.sum(Z_shared, axis=1))) L = np.eye(n_samples) - D @ Z_shared @ D return L, Z_shared

4. 聚类评估与可视化

获得低秩表示后，我们使用谱聚类进行最终分类，并评估结果：

from sklearn.cluster import SpectralClustering from sklearn.metrics import normalized_mutual_info_score as NMI def evaluate_clustering(Z, labels, n_clusters): """谱聚类与评估""" # 构建相似度矩阵 W = (np.abs(Z) + np.abs(Z.T)) / 2 # 谱聚类 sc = SpectralClustering(n_clusters=n_clusters, affinity='precomputed', random_state=42) pred_labels = sc.fit_predict(W) # 评估指标 nmi = NMI(labels, pred_labels) return nmi, pred_labels def plot_results(views, labels, pred_labels): """可视化聚类结果""" import matplotlib.pyplot as plt from sklearn.manifold import TSNE plt.figure(figsize=(15, 5)) # 原始数据可视化 plt.subplot(131) tsne = TSNE(n_components=2, random_state=42) X_tsne = tsne.fit_transform(views[0]) # 使用第一个视角 plt.scatter(X_tsne[:,0], X_tsne[:,1], c=labels, cmap='tab10') plt.title("True Clusters") # 低秩表示可视化 plt.subplot(132) Z_tsne = tsne.fit_transform(Z_shared) plt.scatter(Z_tsne[:,0], Z_tsne[:,1], c=labels, cmap='tab10') plt.title("Low-Rank Representation") # 预测结果可视化 plt.subplot(133) plt.scatter(X_tsne[:,0], X_tsne[:,1], c=pred_labels, cmap='tab10') plt.title("Predicted Clusters") plt.tight_layout() plt.show()

5. 完整流程与结果分析

现在我们将所有步骤整合为完整的流水线：

# 完整实验流程 views, labels = load_caltech7() views = normalize_views(views) # 多视角LRR融合 L, Z_shared = multi_view_lrr(views, lambda_=0.05) # 聚类评估 nmi, pred_labels = evaluate_clustering(Z_shared, labels, n_clusters=7) print(f"聚类结果NMI分数: {nmi:.4f}") # 结果可视化 plot_results(views, labels, pred_labels)

典型输出结果如下：