[Paper Reading] Tiger: Recommender Systems with Generative Retrieval

目录

• TIGER: Recommender Systems with Generative Retrieval
• TL;DR
• Method
  • Semantic ID的生成过程 以及 在生成式推荐中的用法 示意图
  • Semantic ID生成使用RQ-VAE算法
• Experiment
• Q&A
• 相关链接

TIGER: Recommender Systems with Generative Retrieval

link
时间：NIPS 2023
单位：Google DeepMind
相关领域：Recommender Systems
被引次数：423

TL;DR

TIGER: Transformer Index for GEnerative Recommenders
现代推荐系统依赖大规模检索，本工作提出一种生成式检索的方法，即检索模型通过自回归方式解码出condidates的离散表示。具体而言，给定用户session(包含一个sematic ID序列)，一个seq2seq的transformer模型将预预测下一个用户可能交互的item的sigmentic ID。

Method

Semantic ID的生成过程 以及 在生成式推荐中的用法 示意图

Semantic ID生成使用RQ-VAE算法

RQ-VAE Loss：
包含重建Loss与rqvae Loss

rqvae Loss包含两项：
第一项是让码本向量去靠近残差向量；
第二项是让残差微量去靠近码本向量；

Experiment

Q&A

Q：什么是Semantic ID Collisions？如何检测Collisions？如何修复Collisions？

• 什么是？=> 在Semantic ID生成过程中，两个或多个不同的物品被映射到同一个Semantic ID元组的情况。当码本的尺度小于物品总数时，碰撞必然发生。即使组合数足够，相似物品也可能被量化到同一组码字。
• 如何检测? => 检测碰撞的方法是维护一个查找表（Lookup Table），该表映射每个Semantic ID到其对应的物品。在为每个物品生成Semantic ID后，系统会遍历此表。如果发现一个Semantic ID对应了多个物品，则确认发生了碰撞。
• 如何修复? => 修复碰撞的策略直接而有效：为发生碰撞的Semantic ID追加一个额外的、唯一的令牌（Token）。

Q：m级长度为K的residual的编码相对于一个m * K的编码有什么好处？
m级编码的好处是 层次化和精细化，例如：

• 第一级：捕捉物品最核心、最显著的语义特征（如“电子产品”）。
• 第二级：在第一级的基础上，细化更具体的属性（如“手机”）。
• 第三级及以后：进一步刻画细节（如品牌、型号等）。

Q：VAE的decoder还原的内容包括什么？ => VAE的输入输出都是emb。

相关链接

cool paper链接：https://papers.cool/