1.2.2　图神经网络的前沿

在深度学习时代, 图神经网络已经在以下前沿方面迅速发展, 相应的模型也已经被提出。

异质图神经网络　GNN 模型已经被设计用于处理复杂图, 如异质图。在异质图中, 存在不同类型的节点。为了捕捉异质图中的结构和语义相关性, 人们设计了基于元路径或元图的方法。例如, 参考文献 [25] 和 [240] 利用元路径将异质图分解为几个同质图。HAN^[196] 通过注意力机制聚合基于元路径的不同类型的邻居信息,进一步生成节点表示。 等人^[82]提出了一种用于短文本分类的异质图注意力网络。GTN^[226]学习了边类型的软选择,并自动生成元路径,解决了元路径选择的问题。HGT ^[83]采用异质互注意力机制来聚合元关系三元组,MAGNN^[54]利用关系旋转编码器来聚合元路径实例。

动态图神经网络　DANE 利用矩阵扰动理论,以在线方式捕捉邻接矩阵和属性矩阵的变化。DynamicTriad 引入了三元闭包过程,以保留动态网络的结构信息和演化模式。CTDNE 设计了一种时间依赖的随机游走采样方法,用于从连续时间动态网络中学习动态网络嵌入。HTNE 将 Hawkes 过程集成到网络嵌入中,以捕捉历史邻居对当前邻居的影响,用于时态网络嵌入。Dyrep 利用深度时态点过程模型,将图的结构-时间信息编码为低维表示。为了归纳式地推断新观测节点和已有节点的嵌入, 参考文献 [210]提出了基于经典 Bochner 定理的时态图注意力机制。

双曲图神经网络　近年来, 双曲空间中的节点表示学习受到越来越多的关注。参考文献 [137] 将图嵌入双曲空间以学习分层节点表示, 参考文献 [157] 提出了一种新颖的组合嵌入方法以及一种在双曲空间中进行多维缩放的方法。为了更好地建模分层节点表示, 参考文献 [57] 和 [176] 将有向无环图嵌入双曲空间以学习它们的分层特征表示, 参考文献 [108] 分析了分层表示和洛仑兹距离之间的关系。此外, 参考文献 [6] 分析了多关系图中的分层结构, 并将它们嵌入双曲空间。更进一步地, 一些研究人员开始研究双曲空间中的深度学习, 参考文献 [119] 在双曲空间中推广了 GNN 和 GRU 等深度神经模型, 参考文献 [70] 提出了双曲空间中的注意力机制。最近也有一些在双曲 GCN 方面的尝试, 参考文献 [22] 提出了针对图分类任务的双曲图神经网络, 旨在利用双曲图卷积来学习双曲模型中的节点表示; 参考文献 [238] 提出了一种基于庞加莱球模型的图注意力网络, 它可以低失真地学习层次化的图和无标度的图; 参考文献 [5] 在非欧几里得设置中推广了图卷积。

图神经网络的知识蒸馏　实际上, 也有一些将知识蒸馏与 GNN 相结合的研究。参文献 [216] 提出了计算机视觉领域的一种方法, 它使用局部结构保持模块将具有大特征图的深度 GCN 压缩为具有较少参数的浅层 GCN。可靠数据蒸馏 (Reliable Data Distillation, RDD) [236] 对具有相同结构的多名 GCN 学生进行训练,然后以类似于 BAN 的方式将它们组合以获得更好的性能。图马尔可夫神经网络 (Graph Markov Neural Network, GMNN) ^[152] 也可以视为一种知识蒸馏方法, 其中具有不同接受大小的两个 GCN 相互学习。这些工作中的教师模型和学生模型都是 GCN。

越来越多的证据表明, 第三代图表示学习, 尤其是图神经网络, 极大地促进了图上的计算任务, 包括针对节点和针对整个图的计算任务。由 GNN 带来的革命性进展也拓展了图表示学习在现实应用中的广度和深度。对于图表示学习的经典应用领域, 如推荐系统和社交网络分析, GNN 已达到最先进的性能。同时, GNN 的新应用领域也在不断涌现, 如组合优化、物理学和医疗保健。这些广泛的应用使得 GNN 这一研究领域真正具备了跨学科性。