GRAPH ATTENTION NETWORKS论文

Thomas N. Kipf，SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

公式

核心公式

1、带有正则项的损失函数公式：，其中表示针对图中有标签部分的监督损失，为正则化项，是权重因子，可为类神经网络的可微函数，表示无向图的非归一化图拉普拉斯矩阵，其中 V 为含 N 个节点的节点集，E 为边集，为邻接矩阵（二值或加权），为度矩阵。好像这里f(X)是一个数而不是向量。

2、层间传播规则的公式：，其中，为添加自连接的无向图邻接矩阵（为单位矩阵），，为层专属可训练权重矩阵，为激活函数，为第层激活矩阵，且。这个公式的推导需要看参考文献。

3、谱卷积公式：，U 为归一化图拉普拉斯矩阵的特征向量矩阵，为特征值对角矩阵，为信号 x 的图傅里叶变换。可视为关于 L 特征值的函数。

Petar Veliˇckovi´c，GRAPH ATTENTION NETWORKS

公式

核心公式

1、注意力系数：，其中为一个实数，它表示节点j的特征对节点i的重要性，被称为注意力系数，文章中提到，为节点i的一阶邻域（包含节点i自身），也就是说j只能是图结构中与i直接相连的节点以及i自身；表示图中节点i的特征向量它的长度为F，即有F个特征，同理；W为矩阵，它的目的是为节点的特征向量做线性变换让特征向量的长度变为，文章中提到对所有的节点共享相同的线性变换即共享相同的W；和是形状为的列向量；a是一个函数。

2、为使不同节点的注意力系数具有可比性，通过 softmax 函数对所有邻域节点j的系数进行归一化：

，其中是归一化后的值，它是一个实数。

3、这里将式子1和2合在了一起表达，式子1的a是一个单隐层的前馈神经网络，输入的特征数为，输入经过一个线性层后再经过激活函数后直接输出，合并的式子如下：

，其中，上标T表示转置，∥表示拼接操作。

4、注意力机制的步骤：根据3式得到归一化的注意力系数后，通过对对应特征进行线性组合，然后再应用非线性激活函数σ，便可以得到每个节点的最终输出特征：，其中是列向量，长度为。

5、将式子4的注意力机制扩展为多头注意力：，其中，∥表示拼接操作，是由第k个注意力机制计算得到的归一化注意力系数，是对应输入线性变换的权重矩阵。需注意，在该设置下，模型最终输出的每个节点特征维度为KxF′（而非F′）。

6、若在网络的最终（预测）层使用多头注意力，拼接操作不再适用。此时，我们对各注意力头的输出进行平均，并延迟应用最终的非线性激活函数（分类任务中通常为 softmax 或逻辑 sigmoid 函数）：

论文整体流程

注意：1、GAT模型，只需输入图结构(邻接矩阵)以及图中每个节点的特征向量，便可以进行做分类任务。

1、注意力系数的计算。根据核心公式3可以得到与i节点相邻节点和i节点自身对i节点的注意力系数，只需要输入i节点和其他节点便可以得到其他节点对i节点的注意力系数。

2、聚合特征。有了注意力系数后，就要对每个节点进行聚合特征，对于i节点聚合后的特征根据核心公式5得到，需要输入注意力系数和与i节点相邻的节点以及i节点的特征。聚合特征完成之后每个节点都有了新的特征，但是特征变成了KxF′的形状，注意特征要写为列向量的形式而不是矩阵的形式，此时的特征向量的长度为K乘以F′。

3、输出层。根据公式6得到分类结果，公式6中的F′要等于任务的类别数，这样输出就是类别数长度的向量。

草稿：

为了以后方便描述图神经网络的网络结构，可以借鉴下图的描述方法。