GAD-MoRE：零样本图异常检测的混合黎曼专家框架
1. 项目概述
GAD-MoRE（Graph Anomaly Detection via Mixture of Riemannian Experts）是一个创新的零样本图异常检测框架，它通过混合黎曼专家模型来解决传统方法在跨域场景下的局限性。这个框架的核心思想是：不同图结构中的异常模式可能在不同几何空间（如欧式空间、双曲空间、球面空间）中表现得更为明显，因此需要采用多曲率建模策略。
1.1 核心问题与挑战
图异常检测（Graph Anomaly Detection, GAD）面临三个主要挑战：
几何异质性：真实世界图数据（如社交网络、引文网络）往往同时包含层次结构（适合双曲空间）和循环结构（适合球面空间），单一几何空间无法全面捕捉这些特性。
领域迁移：在训练集（源域）上表现良好的模型，在未见过的测试集（目标域）上性能可能大幅下降，特别是在目标域没有标注样本的零样本场景下。
动态适应：图中节点的异常模式可能随时间演变，需要模型能够动态调整其检测策略。
提示：传统方法如AnomalyDAE或CoLA通常使用单一几何空间（通常是欧式空间）进行异常检测，这在处理复杂图结构时存在根本性局限。
2. 技术架构解析
2.1 整体框架设计
GAD-MoRE采用三级处理流程：
多曲率特征对齐模块（MCFA）：
- 并行使用5种不同曲率的空间（0.0[欧式], -0.5, -1.0[双曲], 0.5, 1.0[球面]）
- 每个空间使用独立的特征投影层
- 通过可学习的注意力机制融合多空间特征
混合专家评分器：
- 包含5个专家网络（K=5），每个专家专注于一种曲率空间
- 采用top-2路由策略（k=2），即每个节点由两个专家共同处理
- 专家间通过残差连接共享信息
动态记忆路由（MDR）：
- 为每个专家维护记忆库存储高质量重建样本
- 基于历史重建质量动态调整路由策略
- 实施冷启动期（Ecold=5）防止早期低质量更新
2.2 关键算法细节
2.2.1 质量评分机制
对于专家Ei，节点v的质量分数计算过程：
# 输入：当前批次节点集合Bbatch L_min = min(Lrecon(v',i) for v' in Bbatch) # 批次内最小重建误差 L_max = max(Lrecon(v",i) for v" in Bbatch) # 批次内最大重建误差 q(v,i) = 1 - (Lrecon(v,i) - L_min)/(L_max - L_min + ε) # 归一化质量分数其中ε=1e-6用于数值稳定性。质量阈值τq(e)随训练epoch线性增长：
τq(e) = τ_min + (τ_max - τ_min)*min(1, (e - Ecold)/(Etotal - Ecold))典型设置：τ_min=0.6, τ_max=0.9, Ecold=5, Etotal=40
2.2.2 损失函数设计
总损失由5个组件构成：
| 损失类型 | 权重λ | 作用 |
|---|---|---|
| Lembed | 1.0 | 主重建损失（MSE） |
| Lfeat | 0.5 | 特征重建损失 |
| Lstruct | 0.1 | 结构重建损失（BCE） |
| Lcon | 0.1 | 结构对比损失（InfoNCE） |
| Lgate | 0.01 | 路由熵正则化 |
其中结构对比损失采用改进的InfoNCE形式：
Lcon(v) = -log[∑exp(sim(hv,hu)/τc) / ∑exp(sim(hv,hj)/τc)]温度参数τc=0.7，相似度度量使用余弦相似度。
3. 实现与优化
3.1 工程实现要点
高效计算策略：
- 使用分块计算（chunked computation）处理大规模图的InfoNCE分母项
- 对邻接矩阵采用稀疏存储和操作
- 专家网络并行计算
稳定训练技巧：
- 冷启动期（5个epoch）不更新记忆库
- 采用梯度裁剪（max_norm=1.0）
- 路由概率加入Gumbel噪声（τ=0.7）增强探索
内存优化：
- 每个专家记忆库大小固定为10,000个样本
- 使用最近最少使用（LRU）替换策略
- 对大型数据集采用邻居采样（2-hop）
3.2 超参数设置
| 参数 | 值 | 说明 |
|---|---|---|
| 嵌入维度D | 32 | 平衡表达能力和计算成本 |
| GNN层数 | 4 | 使用残差连接缓解过平滑 |
| 专家数K | 5 | 覆盖主要几何空间 |
| 路由数k | 2 | 平衡专精和泛化 |
| 学习率 | 5e-5 | Adam优化器 |
| 批次大小 | 512 | 根据GPU内存调整 |
4. 实验分析
4.1 数据集配置
采用4个源域和7个目标域的11个基准数据集：
| 类型 | 数据集 | 节点数 | 边数 | 特征数 | 异常占比 |
|---|---|---|---|---|---|
| 源域 | PubMed | 19,717 | 44,338 | 500 | 3.04% |
| 源域 | Flickr | 7,575 | 239,738 | 12,047 | 5.94% |
| 目标域 | ACM | 16,484 | 71,980 | 8,337 | 3.62% |
| 目标域 | 8,405 | 407,963 | 400 | 10.30% |
4.2 性能对比
在零样本设置下的AUROC结果（%）：
| 方法 | ACM | Citeseer | Avg | |
|---|---|---|---|---|
| GCN | 47.69 | 53.83 | 37.64 | 46.02 |
| AnomalyDAE | 77.60 | 82.00 | 19.77 | 55.74 |
| IA-GGAD | 78.44 | 91.54 | 87.35 | 77.00 |
| GAD-MoRE | 81.17 | 90.28 | 91.03 | 82.09 |
关键发现：
- 在复杂社交网络（Weibo）上优势最明显（+3.68%）
- 即使相比有监督方法（如GCN）也有显著提升
- AUPRC指标提升更明显（平均+2.58%），说明对少数类识别更好
4.3 消融实验
移除各核心组件后的性能下降：
| 变体 | ACM | Citeseer | Avg下降 |
|---|---|---|---|
| 完整模型 | 81.17 | 90.28 | - |
| w/o MCFA | 79.49 | 86.60 | 2.59% |
| w/o MoE | 64.38 | 86.24 | 10.32% |
| w/o MDR | 81.16 | 90.20 | 0.12% |
结果表明：
- MoE贡献最大，验证多曲率建模的必要性
- MDR在小数据集上影响较小，但在大规模图上作用显著
5. 应用实践指南
5.1 部署建议
数据预处理：
- 对连续特征进行分位数归一化
- 对类别特征使用可学习嵌入
- 保留原始特征作为备用输入
领域适配技巧：
- 当目标域节点特征维度不同时：
# 使用线性投影对齐维度 adapter = nn.Linear(src_dim, 32) # 与原特征拼接 h = torch.cat([adapter(x), mcfalayer(x)], dim=1) - 对于异构边，可扩展为多关系图注意力机制
- 当目标域节点特征维度不同时：
推理优化：
- 对静态图可预计算专家路由概率
- 使用半精度推理（FP16）减少显存占用
- 对超大规模图采用子图采样策略
5.2 调优方向
专家数量选择：
- 小型图（<1k节点）：K=3足够
- 异构性强的图：增加球面专家比例
- 层次结构明显的图：增加双曲专家
异常阈值确定：
- 在源域上计算重建误差的95%分位数作为初始阈值
- 采用动态调整策略：
其中α=0.9，μ/σ为当前批次误差的均值和标准差τ_t = ατ_{t-1} + (1-α)(μ + 3σ)
常见问题排查：
- 问题：所有节点路由到同一专家
- 解决：增大Lgate权重（如0.05）或降低温度参数τ
- 问题：验证集性能震荡
- 解决：延长冷启动期或减小学习率
6. 扩展与演进
6.1 未来方向
动态图扩展：
- 将记忆库扩展为时间感知模块
- 添加曲率自适应机制，允许专家动态调整曲率
层次化MoE：
- 第一层专家按曲率划分
- 第二层专家按局部结构（如度分布）划分
与图基础模型结合：
- 使用预训练模型生成初始节点特征
- 将GAD-MoRE作为微调模块
6.2 实际应用案例
在金融反欺诈场景中的实施流程：
数据准备：
- 节点：用户账户
- 边：交易关系
- 特征：交易频率、设备指纹、行为序列
模型训练：
model = GADMoRE( feat_dim=128, num_experts=5, curvatures=[0.0, -1.0, -0.5, 0.5, 1.0] ) trainer = UnsupervisedTrainer( lr=3e-5, warmup=10 )结果解读：
- 高异常分数账户进入人工审核队列
- 双曲专家捕获的异常：金字塔交易模式
- 球面专家捕获的异常：循环担保行为
通过实际验证，在信用卡欺诈检测中，相比传统方法召回率提升37%，同时保持93%的准确率。