当前位置：首页 > news >正文

论文阅读：DIEN, CTR 模型

news 2026/3/27 3:39:37

Deep Interest Evolution Network for Click-Through Rate Prediction

论文链接: https://arxiv.org/abs/1809.03672

基于 DIN 模型的优化版本，引入序列模型。

任务背景/目标

传统模型（如 DIN）在建模用户兴趣时，通常将历史行为直接作为静态特征，按候选 item 加权聚合，却忽略了兴趣随行为序列动态演化的本质。

DIEN 的关键设计目标：

行为序列并非简单加权，而是用于学习兴趣状态随行为发生的演化趋势。
使兴趣表示能反映时间顺序及行为间的依赖关系。
对每个历史时刻的兴趣表示施以监督，让它更有意义。

模型架构

首先，所有特征类别均通过嵌入层进行转换。随后，DIEN通过两步捕捉兴趣演变过程：

兴趣提取层（Interest Extractor Layer）从用户行为序列中提取初始兴趣序列。
兴趣演变层（Interest Evolving Layer）建模目标商品相关兴趣随时间的动态演变过程。

最终将最终兴趣表示与广告、用户画像、上下文的嵌入向量进行拼接。拼接后的向量输入多层感知器（MLP）进行最终预测。

Interest Extractor Layer

为了改变传统模型对于历史行为序列建模的缺失，在该层引入 GRU（Gated Recurrent Unit）来对每一个 Behavior 的序列依赖关系进行建模。

GRU 的作用：

维护一个隐藏状态 h_t，表示当前位置用户的兴趣状态；
通过门控机制（如 update gate、reset gate 等）控制历史兴趣与当前行为信息的融合。
通过迭代更新，基于行为序列逐步生成兴趣状态序列。

GRU 将当前行为 embedding 与前轮兴趣状态 h_{t-1}依次输入，公式总览如下：

h_t = GRU(h_{t-1}, i_t)

其中 i_t是行为 embedding。

Auxiliary Loss

L_{aux} = -\frac{1}{N} \sum_{i=1}^{N}\sum_{t} \Big[\log \sigma(h^i_t, e^i_b[t+1]) + \log(1 - \sigma(h^i_t, \hat{e}^i_b[t+1]))\Big]

其中：

\sigma(x_1, x_2)=\frac{1}{1+e^{- [x_1, x_2]}}是 sigmoid 激活
h^i_t第 ti 个用户 GRU 在时刻 t t的隐藏状态（兴趣向量）
e^i_b[t+1]实际发生的下一个行为（正样本）的 embedding
\hat{e}^i_b[t+1]：未发生行为（负样本）embedding（随机采样）

最终整体损失：

L = L_{target} + \alpha \cdot L_{aux}

L_{target}损失函数采用 Binary Cross-Entropy（二元交叉熵，即 log loss），用于衡量最终 MLP 输出与真实点击标签之间的差异。

L_{target} = -\frac{1}{N} \sum_{(\mathbf{x},y)\in D} \Big( y\log p(\mathbf{x}) + (1-y)\log (1-p(\mathbf{x})) \Big)

其中：

N样本数量
y \in \{0,1\} 真实标签（1 表示用户点击，0 表示未点击）
p(\mathbf{x}) 模型输出的预测点击概率（CTR 预测值）
\mathbf{x}输入样本为用户、候选 item 及上下文（context）等所有特征 embedding 拼接后的向量。

Interest Evolving Layer

在获得用户兴趣表示后，Interest Evolving Layer 的核心目标是刻画用户兴趣的演变过程——即兴趣如何随环境和认知变化而动态演化。为此，作者提出了 AUGRU 结构：利用 attention 机制局部激活与目标商品相关的兴趣，并对这些兴趣间的依赖关系建模，从而捕捉兴趣的动态演变过程。

关于 attention 与 GRU 的结合方式，文中介绍了三种方案：