当前位置：首页 > news >正文

Graphormer模型架构深度解析：Positional Encoding如何编码分子图拓扑结构？

news 2026/6/13 16:14:43

Graphormer模型架构深度解析：Positional Encoding如何编码分子图拓扑结构？

1. Graphormer模型概述

Graphormer是微软研究院开发的一种基于纯Transformer架构的图神经网络模型，专门为分子图（原子-键结构）的全局结构建模与属性预测而设计。该模型在OGB（Open Graph Benchmark）、PCQM4M等分子基准测试中表现出色，大幅超越了传统GNN模型的性能。

与传统图神经网络不同，Graphormer完全摒弃了卷积或消息传递机制，而是采用纯Transformer架构来处理图结构数据。这种创新设计使得模型能够更好地捕捉分子图中的全局依赖关系，从而在分子属性预测任务中取得突破性进展。

2. Graphormer的核心架构

2.1 分子图的Transformer表示

Graphormer将分子图表示为Transformer的输入序列，其中每个原子对应序列中的一个token。这种表示方式的关键挑战在于如何将分子图的拓扑结构信息编码到Transformer中，因为标准的Transformer原本是为序列数据设计的。

为了解决这个问题，Graphormer引入了三种关键的结构编码方式：

节点编码（Node Encoding）
边编码（Edge Encoding）
空间编码（Spatial Encoding）

2.2 Positional Encoding的创新设计

Graphormer最核心的创新之一是其独特的Positional Encoding机制，专门为分子图拓扑结构设计。与传统的序列Positional Encoding不同，Graphormer的编码方式能够精确捕捉分子图中原子之间的结构关系。

具体来说，Graphormer使用了以下三种编码方式的组合：

中心性编码（Centrality Encoding）：
- 基于节点的度（degree）信息
- 区分分子中不同原子的连接性差异
- 帮助模型识别分子中的关键原子
空间编码（Spatial Encoding）：
- 基于节点间的最短路径距离
- 编码分子中原子之间的空间关系
- 保留分子图的全局拓扑信息
边编码（Edge Encoding）：
- 通过最短路径上的边特征聚合
- 编码分子中化学键的类型和强度信息
- 保留分子图的局部结构细节

3. 分子图的结构编码实现

3.1 中心性编码实现

中心性编码通过以下公式计算：

import torch def centrality_encoding(degree): # 度中心性编码 degree_embed = nn.Embedding(max_degree, hidden_dim) return degree_embed(degree)

其中：

degree是每个节点的度数（连接的边数）
max_degree是预设的最大度数
hidden_dim是模型隐藏层维度

3.2 空间编码实现

空间编码基于节点间的最短路径距离：

def spatial_encoding(distance): # 距离编码 distance_embed = nn.Embedding(max_distance, num_heads) return distance_embed(distance)

关键参数：

distance是节点间的最短路径距离
max_distance是预设的最大距离
num_heads是Transformer的注意力头数

3.3 边编码实现

边编码聚合最短路径上的边特征：

def edge_encoding(path_edges): # 路径边特征聚合 edge_embed = nn.Linear(edge_dim, num_heads) return edge_embed(path_edges.mean(dim=0))

其中：

path_edges是最短路径上的边特征序列
edge_dim是边特征的维度

4. Graphormer的注意力机制

4.1 结构感知的注意力计算

Graphormer的注意力计算融合了上述三种编码信息：

# 注意力分数计算 attention_score = (Q @ K.T) / sqrt(d_k) + centrality_bias + spatial_bias + edge_bias

其中：

Q,K是查询和键矩阵
d_k是注意力头的维度
centrality_bias来自中心性编码
spatial_bias来自空间编码
edge_bias来自边编码

4.2 多头注意力实现

完整的多头注意力实现如下：

class GraphormerAttention(nn.Module): def __init__(self, hidden_dim, num_heads): super().__init__() self.num_heads = num_heads self.head_dim = hidden_dim // num_heads # 初始化QKV投影 self.q_proj = nn.Linear(hidden_dim, hidden_dim) self.k_proj = nn.Linear(hidden_dim, hidden_dim) self.v_proj = nn.Linear(hidden_dim, hidden_dim) # 初始化结构编码 self.centrality_encoding = nn.Embedding(max_degree, num_heads) self.spatial_encoding = nn.Embedding(max_distance, num_heads) self.edge_proj = nn.Linear(edge_dim, num_heads) def forward(self, x, edge_index, edge_attr): # 计算QKV Q = self.q_proj(x) K = self.k_proj(x) V = self.v_proj(x) # 计算注意力分数 attn = (Q @ K.transpose(-2, -1)) / math.sqrt(self.head_dim) # 添加结构编码 attn += self.centrality_encoding(degree).unsqueeze(-1) attn += self.spatial_encoding(distance) attn += self.edge_proj(edge_attr) # softmax和注意力输出 attn = F.softmax(attn, dim=-1) output = attn @ V return output

5. Graphormer的分子属性预测

5.1 模型输入处理

Graphormer的输入是分子的SMILES表示，首先需要转换为图结构：

from rdkit import Chem def smiles_to_graph(smiles): mol = Chem.MolFromSmiles(smiles) if mol is None: return None # 获取原子特征 atom_features = [] for atom in mol.GetAtoms(): features = get_atom_features(atom) atom_features.append(features) # 获取键特征 edge_index = [] edge_features = [] for bond in mol.GetBonds(): i = bond.GetBeginAtomIdx() j = bond.GetEndAtomIdx() edge_index.append((i, j)) edge_index.append((j, i)) # 无向图 features = get_bond_features(bond) edge_features.append(features) edge_features.append(features) return { 'x': torch.tensor(atom_features, dtype=torch.float), 'edge_index': torch.tensor(edge_index, dtype=torch.long).t().contiguous(), 'edge_attr': torch.tensor(edge_features, dtype=torch.float) }

5.2 预测流程

完整的分子属性预测流程：

输入处理：将SMILES转换为分子图
图编码：应用Graphormer的结构编码
Transformer处理：通过多层Graphormer注意力层
图池化：使用虚拟节点进行全局池化
属性预测：通过MLP预测目标属性

class Graphormer(nn.Module): def __init__(self, hidden_dim, num_heads, num_layers, num_tasks): super().__init__() self.atom_encoder = nn.Linear(atom_dim, hidden_dim) self.layers = nn.ModuleList([ GraphormerLayer(hidden_dim, num_heads) for _ in range(num_layers) ]) self.pool = VirtualNodePooling(hidden_dim) self.predictor = nn.Sequential( nn.Linear(hidden_dim, hidden_dim//2), nn.ReLU(), nn.Linear(hidden_dim//2, num_tasks) ) def forward(self, data): x = self.atom_encoder(data.x) # 结构编码 centrality = self.get_centrality(data.edge_index) spatial = self.get_spatial(data.edge_index) # Transformer处理 for layer in self.layers: x = layer(x, centrality, spatial, data.edge_attr) # 图池化和预测 graph_rep = self.pool(x) return self.predictor(graph_rep)