新上线今天0 投票
面向多任务图预训练的全局上下文任务特定提示
图神经网络(GNN)预训练与提示学习是近年来的研究热点,旨在通过预训练模型快速适应下游任务,尤其在数据稀缺场景下。然而,现有方法常使用随机初始化的提示,导致提示空间与预训练目标、图结构特征对齐不佳,限制了任务相关性、结构感知和迁移能力。
针对这一问题,来自中国科学院等机构的研究者提出了一种名为 TPGC 的双先验提示初始化方法,通过显式建模任务先验与结构先验的协同作用,显著提升了提示质量。相关工作以论文形式发表于 arXiv(编号:2609.00047)。
方法核心:双先验注入
TPGC 包含两个关键模块:
- 任务先验注入模块:首先在辅助图上进行短期的同源多任务预训练,使提示初始化继承多种预训练任务的优化偏好,从而增强任务相关性。
- 结构先验注入模块:在任务感知表示的基础上,从辅助图中提取可迁移的全局结构上下文,通过聚合结构信息丰富的节点嵌入,生成逐层提示向量,提升结构感知能力。
这种双先验设计使得提示初始化不再是随机噪声,而是携带了任务与结构的双重信息,为下游任务提供了更优的起点。
实验表现与意义
研究团队在 6 个主流基准数据集上进行了节点分类和图分类实验,覆盖少样本场景。结果表明,TPGC 在性能上优于现有最先进基线,同时所需下游可调参数更少、运行时间更短。这验证了该方法在低资源场景下的高效性与实用性。
行业影响与展望
图预训练与提示学习在社交网络分析、药物发现、推荐系统等领域具有广阔应用前景。TPGC 的思路提示我们,提示初始化不应忽视任务与结构的先验知识,这一设计哲学或将成为未来图提示学习的重要方向。不过,当前方法仍需在更广泛的图类型上验证鲁棒性,且辅助图的选择可能影响性能,相关工作仍在迭代中。