当前位置：首页 > news >正文

NADEx模型：基于扩散模型的时序知识图谱推理创新

news 2026/6/12 10:06:49

1. 项目概述：NADEx模型的核心创新

时序知识图谱（Temporal Knowledge Graph, TKG）推理是近年来知识表示学习领域的重要研究方向，其目标是从历史事件中预测未来可能发生的缺失事实。传统方法如RE-GCN、TiRGN等主要采用确定性嵌入策略，通过图神经网络结合时间门控机制来建模实体关系演化。然而，这些方法在应对未来事件固有的不确定性方面存在明显局限。

NADEx（Negative-Aware Diffusion model for temporal knowledge graph Extrapolation）的创新性体现在三个维度：

生成式建模范式：将扩散模型（Diffusion Model）引入TKG推理，通过前向加噪和反向去噪过程显式建模未来事件的概率分布。具体而言，前向过程对目标实体嵌入逐步添加高斯噪声，模拟预测不确定性；反向过程则基于Transformer架构，在时序关系上下文的条件下重建原始嵌入。
负感知机制：突破传统方法仅依赖正样本的局限，设计批内负采样策略。如图1所示，通过构建负原型（negative prototypes）并引入余弦对齐正则化项，迫使模型在生成过程中区分合理与不合理的事件预测。
混合训练目标：结合交叉熵重构损失与负样本对比损失，形成双重监督信号。其中，余弦对齐损失函数（公式14）通过约束负样本与预测向量的夹角，显著提升生成结果的判别性。

关键发现：在ICEWS14数据集上的消融实验表明，引入负采样策略可使Hit@10指标提升2.94%，而同时使用时间间隔嵌入（EΔ）和关系类型嵌入（Er）能带来17.55%的MRR增益。

2. 核心算法解析

2.1 时序表示学习框架

给定查询四元组q=(s,r,?,t)，NADEx首先构建主体中心的历史序列：

对象序列：O0:t-1 = [o0, o1, ..., ot-1] ∈ RL×h
关系序列：R0:t-1 = [r0, r1, ..., rt-1] ∈ RL×h
时间序列：T0:t-1 = [Δt0, Δt1, ..., Δtt-1] ∈ RL×h

其中L为滑动窗口长度，h为嵌入维度。三个序列分别通过可训练的嵌入矩阵Eo∈R|E|×h、Er∈R|R|×h和EΔ∈R|T|×h进行编码。值得注意的是，时间嵌入采用相对时间间隔而非绝对时间戳，增强模型对周期性模式的捕捉能力。

2.2 批内负采样策略

传统负采样通常从整个实体集随机抽取，但存在计算效率低、语义相关性弱的问题。NADEx的创新策略如下：

批内矩阵构造：对于包含n个目标的批次，构建n×n矩阵，每行包含同批次其他n-1个目标作为负样本

# 伪代码示例 batch_neg = torch.stack([target_emb] * n, dim=0) # 复制n份 mask = 1 - torch.eye(n, device=device) # 对角线置0 neg_prototypes = (batch_neg * mask.unsqueeze(-1)).sum(1) / (n-1)

负原型生成：对每行非对角线元素求平均，得到紧凑的负原型序列O- ∈ Rn×h。该设计显著降低计算复杂度，从O(n2)降至O(n)。

2.3 扩散过程实现

前向扩散（加噪过程）

采用线性噪声调度策略，在M步中逐步添加高斯噪声：

o+m = √αm·ot + √1-αm·ε, ε~N(0,I)

其中αm控制信噪比，按公式9动态调整。实验发现δ=0.8、αmin=0.1、αmax=0.9时在多数数据集表现最优。

反向去噪（生成过程）

基于Transformer的条件去噪网络实现：

class DenoisingTransformer(nn.Module): def __init__(self, h_dim, n_heads): super().__init__() self.time_embed = nn.Embedding(M, h_dim) self.transformer = nn.TransformerEncoder( nn.TransformerEncoderLayer(h_dim, n_heads), num_layers=4 ) def forward(self, noisy_emb, rel_emb, time_emb, step): time_step = self.time_embed(step) x = noisy_emb + rel_emb + time_emb + time_step return self.transformer(x)

关键设计包括：

时间步嵌入（time_embed）管理不同噪声级别的去噪过程
关系嵌入（rel_emb）和时间嵌入（time_emb）作为条件信号
层归一化确保训练稳定性

3. 训练优化与推理

3.1 混合损失函数

NADEx的完整训练目标由三部分组成：

重构损失（Lr）：标准交叉熵，确保生成结果与真实目标对齐
```
L_r = -∑ y_i log(softmax(ô_0^+·E_o^T))
```

负样本损失（Lneg）：余弦对齐正则化项

L_{neg} = \frac{1}{N}∑_{i=1}^N (\frac{o_i^-}{||o_i^-||}·\frac{ô_i^-}{||ô_i^-||} - 1)^2

平衡项：通过λ（默认0.7）调节两项权重，γ（默认2.0）控制边际
```
L = -(1-λ)logσ(-γ(L_r-L_{neg})+ε) + λL_r
```

3.2 推理流程

噪声初始化：从N(0,I)采样初始噪声oM

迭代去噪：执行M步反向过程，每步计算：

for m in range(M, 0, -1): noise_pred = denoiser(o_m, rel_emb, time_emb, m) o_{m-1} = (o_m - (1-α_m)/√(1-ᾱ_m)*noise_pred)/√α_m o_{m-1} += √(1-α_m)*z # z~N(0,I) if m>1