SheepNav
新上线今天0 投票

面向多任务图预训练的全局上下文任务特定提示

图神经网络(GNN)预训练与提示学习是近年来的研究热点,旨在通过预训练模型快速适应下游任务,尤其在数据稀缺场景下。然而,现有方法常使用随机初始化的提示,导致提示空间与预训练目标、图结构特征对齐不佳,限制了任务相关性、结构感知和迁移能力。

针对这一问题,来自中国科学院等机构的研究者提出了一种名为 TPGC 的双先验提示初始化方法,通过显式建模任务先验与结构先验的协同作用,显著提升了提示质量。相关工作以论文形式发表于 arXiv(编号:2609.00047)。

方法核心:双先验注入

TPGC 包含两个关键模块:

  • 任务先验注入模块:首先在辅助图上进行短期的同源多任务预训练,使提示初始化继承多种预训练任务的优化偏好,从而增强任务相关性。
  • 结构先验注入模块:在任务感知表示的基础上,从辅助图中提取可迁移的全局结构上下文,通过聚合结构信息丰富的节点嵌入,生成逐层提示向量,提升结构感知能力。

这种双先验设计使得提示初始化不再是随机噪声,而是携带了任务与结构的双重信息,为下游任务提供了更优的起点。

实验表现与意义

研究团队在 6 个主流基准数据集上进行了节点分类和图分类实验,覆盖少样本场景。结果表明,TPGC 在性能上优于现有最先进基线,同时所需下游可调参数更少、运行时间更短。这验证了该方法在低资源场景下的高效性与实用性。

行业影响与展望

图预训练与提示学习在社交网络分析、药物发现、推荐系统等领域具有广阔应用前景。TPGC 的思路提示我们,提示初始化不应忽视任务与结构的先验知识,这一设计哲学或将成为未来图提示学习的重要方向。不过,当前方法仍需在更广泛的图类型上验证鲁棒性,且辅助图的选择可能影响性能,相关工作仍在迭代中。

延伸阅读

  1. ReNFT:通过内部概率质量重新校准修复奖励后训练中的模式坍缩
  2. 关系概念分析中基于AOC-偏序集的收敛性问题探讨
  3. 聚类结构向量的随机复杂度计算新方法:线性时间递归公式
查看原文