推荐系统入门（三）：矩阵分解 —— 用潜在因子破解稀疏难题
一句话理解矩阵分解：
“用户和物品之间，藏着一些看不见的‘兴趣维度’，比如‘技术深度’或‘娱乐性’。”
矩阵分解的任务，就是把这些隐藏维度挖出来。
在前两篇中，我们先后学习了：
- 基于内容的推荐：靠物品特征“找相似”；
- 协同过滤：靠用户行为“借他人之眼”。
它们各有优势，但也面临共同挑战：真实世界的用户-物品交互数据极度稀疏。
比如一个视频平台有1亿用户和1000万视频，平均每个用户只看过几十个——评分矩阵中99.99%都是空的。
在这种情况下，传统协同过滤很难准确计算用户相似度，推荐效果大打折扣。
怎么办？答案是：不要直接处理原始稀疏矩阵，而是把它“压缩”成低维的潜在表示。这就是矩阵分解（Matrix Factorization）的核心思想。
什么是矩阵分解？
想象每个用户和物品都可以用一组“隐藏属性”来描述：
- 用户 A 可能在“技术偏好”上得分高，在“娱乐倾向”上得分低；
- 视频 v3 可能在“技术深度”和“教学清晰度”上得分高。
如果这些隐藏属性能对齐，就能预测 A 是否喜欢 v3。
矩阵分解正是要自动学习这些潜在因子（Latent Factors）。
它把原始的用户-物品评分矩阵R∈Rm×nR \in \mathbb{R}^{m \times n}R∈Rm×n分解为两个低维矩阵：
R≈U⋅VT R \approx U \cdot V^TR≈U⋅VT
- U∈Rm×kU \in \mathbb{R}^{m \times k}U∈Rm×k：用户隐向量矩阵（每行代表一个用户的 k 维兴趣）；
- V∈Rn×kV \in \mathbb{R}^{n \times k}V∈Rn×k：物品隐向量矩阵（每行代表一个物品的 k 维特征）；
- k≪min(m,n)k \ll \min(m, n)k≪min(m,n)，通常取 10~100。
预测评分就变成了两个向量的点积：
r^ui=uu⊤vi \hat{r}_{ui} = \mathbf{u}_u^\top \mathbf{v}_ir^ui=uu⊤vi
这个过程就像给用户和物品各自“嵌入”到一个共享的语义空间中，让系统学会“为什么有人喜欢某物”。
动手实现：用 Surprise 库跑通 SVD 矩阵分解
我们继续使用前文的小型评分数据：
| 用户 | v1 | v2 | v3 |
|---|---|---|---|
| A | 5 | 3 | ? |
| B | 4 | ? | 5 |
| C | ? | 2 | 4 |
| D | 5 | ? | ? |
目标：为用户 A 预测他对 v3 的评分。
我们将使用 Python 中广受欢迎的推荐系统库surprise，它内置了高效的 SVD（奇异值分解）实现。
💡 注：这里的 SVD 是带正则化和偏置项的改进版，常用于推荐场景，也称“FunkSVD”。
第一步：安装与准备数据
pipinstallscikit-surprise pandas然后加载数据：
fromsurpriseimportDataset,Reader,SVDfromsurprise.model_selectionimporttrain_test_splitimportpandasaspd# 构造评分数据data_df=pd.DataFrame({'user':['A','A','B','B','C','C','D'],'item':['v1','v2','v1','v3','v2','v3','v1'],'rating':[5,3,4,5,2,4,5]})# 定义评分范围（1~5分）reader=Reader(rating_scale=(1,5))data=Dataset.load_from_df(data_df[['user','item','rating']],reader)第二步：训练矩阵分解模型
# 划分训练/测试集（这里仅演示，实际可全量训练）trainset,testset=train_test_split(data,test_size=0.2,random_state=42)# 初始化 SVD 模型：10个潜在因子，20轮迭代model=SVD(n_factors=10,n_epochs=20,lr_all=0.005,reg_all=0.02)model.fit(trainset)第三步：为用户 A 预测未交互物品
# 找出 A 没评过的物品all_items=data_df['item'].unique()user_A_items=set(data_df[data_df['user']=='A']['item'])items_to_predict=[itemforiteminall_itemsifitemnotinuser_A_items]# 预测评分preds=[]foriteminitems_to_predict:pred=model.predict('A',item)preds.append((item,pred.est))# 排序输出preds.sort(key=lambdax:x[1],reverse=True)print("SVD 矩阵分解推荐结果（用户 A）:")foritem,scoreinpreds:print(f"{item}: 预测评分 ={score:.2f}")输出示例：
SVD 矩阵分解推荐结果（用户 A）: v3: 预测评分 = 3.71虽然预测分（3.71）略低于协同过滤的结果（4.70），但注意：这是在极小数据集上的简化训练。在真实大规模稀疏场景中，矩阵分解往往更稳定、泛化能力更强。
矩阵分解的优势与局限
✅优点：
- 有效缓解数据稀疏问题：通过低维嵌入捕捉全局模式；
- 表达能力强：能建模复杂的非线性偏好（如“喜欢深度技术但讨厌冗长讲解”）；
- 工业界经典方法：Netflix Prize 竞赛中大放异彩，至今仍是许多系统的基线模型。
❌局限：
- 黑盒性强：隐因子难以解释（你不知道第5维到底代表什么）；
- 冷启动依然存在：新用户/新物品没有交互记录，无法生成有效向量；
- 依赖显式反馈：传统 MF 假设有评分数据，对点击、浏览等隐式反馈需改用 ALS 等变体。
小结
矩阵分解标志着推荐系统从“规则+统计”迈向“学习+嵌入”的关键一步。它不再直接比较用户或物品，而是在低维空间中重建偏好关系，从而在稀疏数据中挖掘出稳健的信号。
虽然如今深度学习方法（如神经协同过滤、图神经网络）日益流行，但矩阵分解因其简洁、高效、可扩展，依然是工业推荐系统的“压舱石”。
后续方向：
如果你已掌握这三种基础方法，下一步可以探索：
- 隐式反馈建模（如 ALS 算法处理点击/播放时长）；
- 序列推荐（如 GRU4Rec 捕捉用户行为顺序）；
- 多任务与上下文感知推荐（融合时间、地点、设备等信息）。
推荐系统的旅程，才刚刚开始。
注：本文完整代码可在本地运行，依赖scikit-surprise和pandas。建议先阅读前两篇，理解协同过滤后再学习本篇，逻辑衔接更顺畅。