轻量级多兴趣推荐系统：融合人类先验与适配器架构

1. 项目概述

在当今信息过载的时代，推荐系统已成为连接用户与内容的关键桥梁。传统推荐系统往往采用单一兴趣建模，难以捕捉用户复杂多变的多维度兴趣。我们提出的轻量级多兴趣推荐系统框架，通过引入人类先验知识（Human Priors）和创新的轻量级适配器架构，在保持模型高效性的同时，显著提升了推荐质量和多样性。

这个系统的核心创新在于将业务场景中积累的人类先验知识（如物品类别、用户长短期兴趣等）转化为结构化指导信号，通过专门的适配器头（Adapter Heads）注入到基础推荐模型中。实验证明，这种方法不仅提升了传统指标如Recall和NDCG，还改善了推荐多样性、新颖性和个性化程度。

2. 核心架构设计

2.1 基础模型选择

我们选择两种先进的推荐模型作为基础架构：

1. HSTU（Hierarchical Sequential Transformer for Users）：专为序列推荐设计的层次化Transformer架构，能够有效捕捉用户行为序列中的长期依赖关系。

2. HLLM（Hierarchical Large Language Model）：基于大语言模型的推荐系统，擅长利用文本和图像等多模态信息进行用户建模。

这两种架构各有优势：HSTU在纯行为序列建模上更高效，而HLLM在多模态理解上表现更佳。我们的适配器设计可以无缝集成到这两种架构中。

2.2 人类先验知识设计

我们定义了三种核心人类先验类型：

1. Item Prior（物品先验）：基于物品的类别、标签等属性。例如在视频推荐中，我们将视频划分为8个语义类别（娱乐、现实生活、表演艺术等）。

2. LT/ST Interest（长短期兴趣）：将用户兴趣按时间维度划分。我们使用8个时间片段和11个聚类，共可扩展到88个头。

3. User Prior（用户先验）：基于用户群体的聚类结果，每个用户群体分配专用适配器。

这些先验知识不是硬性规则，而是作为弱监督信号指导模型学习更丰富的用户表示。

2.3 轻量级适配器架构

适配器头的设计遵循"轻量高效"原则：

1. 每个适配器头仅占整体模型参数的0.14%，在HSTU案例中，单个头仅需约90K参数。

2. 采用分层组合策略：

   • 第一层处理基础特征
   • 第二层组合不同先验维度
   • 第三层生成最终推荐

这种设计既保持了模型的表达能力，又避免了参数爆炸问题。在8个时间片段和11个聚类的配置下，系统可以扩展到总共88个头，而总参数量增加可控。

3. 关键技术实现

3.1 多先验组合策略

当多个先验同时存在时，我们比较了三种组合策略：

1. 加法组合：每个先验维度独立学习适配器头
2. 乘法组合：为所有先验的笛卡尔积定义独立头
3. 分层组合（我们的选择）：先按主先验分组，再在组内细分

实验证明分层组合效果最佳。以Pixel8M数据集为例，相比无先验基线：

• 加法组合提升Recall@10 7.8%
• 乘法组合提升9.0%
• 分层组合提升11.2%

3.2 训练目标设计

我们设计了专门的训练目标来解决多兴趣推荐中的关键挑战：

1. 组内负采样：从同一先验组内采样负例，增强组内区分度。移除该机制会导致Recall@10下降18%。

2. 频率平衡：对低频类别适当过采样。不使用平衡策略会使NDCG@10下降4.5%。

3. 时间折扣因子：对长期兴趣预测使用γ=0.7的折扣，这是通过大量实验确定的最优值。

3.3 推理时分数融合

在推理阶段，需要将不同头的推荐分数融合。我们比较了两种策略：

1. 平均融合：Savg(i) = 1/|H(i)| * Σsh(i)
2. 最大融合：Smax(i) = max sh(i)

对于Item Prior，最大融合效果更好（Recall@10提升0.6%）；而对于Temporal Prior，平均融合更优。这与不同先验的性质有关——物品类别间差异更大，适合取最大；而时间兴趣更连续，适合平均。

4. 性能优化与实验结果

4.1 整体性能对比

我们在三个数据集上评估系统性能：

1. Pixel8M（视频推荐）：

   • HSTU+Both Priors：Recall@10=2.00，NDCG@10=2.12
   • 比基础HSTU提升38%和36%

2. MerRec（电商推荐）：

   • HSTU+Event Prior：Recall@10=50.33，NDCG@10=35.99
   • 比ComiRec基准提升4.3%和9.0%

3. EB-NeRD（新闻推荐）：

   • HSTU+Both Priors：Recall@10=37.05，NDCG@10=36.24
   • 比REMI基准提升7.1%和3.9%

4.2 准确性与多样性的平衡

传统推荐系统面临准确性-多样性权衡：提升一方往往损害另一方。我们的方法通过先验指导部分打破了这一限制：

在Pixel8M上，定义熵指标H@K衡量推荐多样性。结果显示：

• 基础HSTU：H@10=2.30
• 加入Item Prior：H@10=2.37（+3%）
• 同时NDCG@10从1.53提升到2.09（+36%）

这表明人类先验可以帮助模型同时保持相关性和多样性。

4.3 用户兴趣探索

我们特别关注系统发现用户潜在新兴趣的能力。在Pixel8M上筛选出283,497个"新兴趣"用户（测试期间接触了全新类别的用户），发现：

• 对于全体用户，LT/ST1+Item Prior提升NDCG@10 8.53%
• 对于新兴趣用户，同配置提升9.87%（相对提升+15.76%）

这说明专用适配器头能有效保留对少数类别的推荐能力，促进兴趣探索。

4.4 个性化改进

在EB-NeRD数据集上，我们观察到：

• 未使用User Prior时，用户数较少的群体NDCG@5仅为0.18-0.22
• 加入User Prior后，这些群体NDCG@5提升到0.28-0.34（+50%以上）

专用适配器头防止了主流用户兴趣对小众用户的压制，实现了更均衡的推荐质量。

5. 实际应用与部署考量

5.1 计算效率优化

尽管增加了多个适配器头，系统仍保持高效：

1. 参数效率：88个头仅增加约12.3M参数（基础HSTU size3为64.3M）

2. 计算优化：

   • 并行计算所有头的注意力
   • 共享底层特征提取
   • 动态加载活跃头

实测显示，相比基础模型，推理延迟仅增加15-20%，而效果提升30%以上。

5.2 上下文长度扩展性

随着推荐系统采用更长用户历史，我们测试了不同上下文长度下的表现：

• 基础HSTU在长度>20后收益递减
• 加入先验的HSTU在长度达60时仍保持提升
• 在size4模型上，长度60比20的NDCG@10提升22%

这表明人类先验有助于从更长历史中提取有用信号。

5.3 冷启动解决方案

对于新物品/用户，系统提供多种应对策略：

1. 默认头：为未知类别分配通用适配器
2. 相似度映射：根据内容特征映射到最近已知类别
3. 渐进式学习：随着交互积累逐步调整头分配

实验显示，即使有5%物品被错误标记为"Miscellaneous"，系统性能仅下降2-3%，展现了良好的鲁棒性。

6. 常见问题与解决方案

6.1 先验知识不足怎么办？

在实际部署中，可能会遇到部分领域缺乏完善先验知识的情况。我们建议：

1. 自动发现：用聚类等方法从数据中挖掘潜在先验维度
2. 混合策略：结合人工规则和自动发现
3. 渐进式构建：从简单先验开始，逐步细化

6.2 如何选择先验维度？

基于我们的经验，给出以下建议：

1. 物品维度：8-12个类别为宜，过多会导致数据稀疏
2. 时间维度：4-8个片段足够捕捉主要变化模式
3. 用户维度：根据平台规模，通常5-20个群体

6.3 系统监控指标

除传统推荐指标外，还应监控：

1. 头利用率：各适配器头的活跃程度
2. 跨头多样性：不同头推荐结果的重叠度
3. 探索率：推荐中新类别的比例

我们开发了专门的可视化工具来监控这些指标。

7. 案例研究与经验分享

7.1 视频推荐案例

在Pixel8M上的一个典型案例显示：

用户历史包含：

• 二战电影《帝国的毁灭》片段
• 核废料进化游戏视频
• "原子蛋爆炸"梗图

基础HSTU推荐了泛娱乐内容，而我们的系统：

1. 通过"信息教育"头推荐苏联复兴相关内容
2. 通过"长期兴趣"头推荐中日战争纪录片
3. 实际用户确实点击了这些推荐

这验证了多兴趣建模的有效性。

7.2 部署经验教训

在实际部署中，我们总结了以下经验：

1. 逐步上线：先在小流量测试不同先验组合
2. A/B测试：严格对比新旧系统，观察用户行为变化
3. 反馈循环：收集用户显式反馈（如"不感兴趣"）来优化先验

7.3 参数调优技巧

关键参数调优建议：

1. 学习率：适配器头的学习率可设为主模型的5-10倍
2. 批次大小：确保每个批次包含足够多样的先验样本
3. 折扣因子：γ=0.7对长期兴趣效果最佳

8. 未来扩展方向

基于当前成果，我们认为有几个有前景的扩展方向：

1. 动态先验调整：根据用户实时行为微适配器头权重
2. 跨域先验迁移：将电商先验迁移到视频推荐等场景
3. 自动化先验发现：用LLM自动从内容中提取潜在先验维度

这些扩展可以进一步增强系统的适应能力和效果。