SheepNav
新上线今天0 投票

分层多尺度图神经网络:解决异质性图学习的过平滑与过挤压问题

图神经网络(GNN)在处理异质性图(heterophily graph)时面临独特挑战:相邻节点往往标签不同,而现有谱方法存在中心节点主导聚合、过平滑和过挤压等问题。近期一篇arXiv论文提出了一种名为**分层多视图HAAR(HMH)**的新框架,在保持近线性时间复杂度的同时,显著提升了异质性图分类性能。

异质性图学习的三重困境

现实世界中,从社交网络到分子相互作用,大量图结构呈现异质性——即相连节点通常属于不同类别。传统的GNN假设同质性(homophily),即相邻节点相似,因此直接应用会失效。现有针对异质性的谱GNN方法虽有所改进,但存在三大缺陷:

  • 中心节点主导聚合:度数高的节点(hub)在聚合时过度影响邻居,导致信息偏差。
  • 过平滑:随着层数加深,节点特征趋于一致,丧失区分度。
  • 过挤压:长距离信息传递时,瓶颈节点压缩信号,导致信息丢失。

HMH:多尺度分层方案

HMH的核心思路是构建一个软图层次结构,并在每个层级应用稀疏、正交且局部感知的Haar小波基,从而在频域进行可学习的谱滤波。具体流程包括:

  1. 异质性感知编码器:学习特征和结构感知的符号亲和度(signed affinities),区分正负连接。
  2. 软图层次构建:根据嵌入引导,将图划分为多个层级。
  3. 多尺度Haar滤波:在每个层级构建Haar基,应用可学习滤波器,避免近似误差。
  4. 跳跃连接反池化:将各层级输出合并回原始图,防止中心主导和长距离瓶颈。

实验表现与意义

实验表明,HMH在节点分类任务上最高提升3%,在图分类任务上最高提升7%,同时保持了近线性可扩展性。这一成果为处理大规模异质性图提供了新思路,尤其适用于社交网络分析、药物分子设计等场景。

行业启示

当前GNN在工业界应用广泛,但异质性场景仍是难点。HMH通过多尺度分层和Haar小波,有效缓解了过平滑和过挤压,且不牺牲计算效率。未来,该框架可能被集成到主流图学习平台(如PyG、DGL),推动异质性图在推荐系统、生物信息学等领域的落地。

延伸阅读

  1. ξ-DPO:通过比率奖励边际实现直接偏好优化
  2. LEAP:通过“前瞻早期收敛令牌检测”解锁扩散语言模型并行潜力
  3. Vertex-Softmax:通过精确Softmax优化实现紧致Transformer验证
查看原文