新上线今天0 投票
TabPFN-MT：专为表格数据设计的原生多任务上下文学习器
概览
Prior-Data Fitted Networks（PFN）在表格数据任务中表现出色，但传统 PFN 仅支持单任务推理——要预测多个目标变量，必须重复执行前向传播，且无法在任务间共享信息。近期，来自麦吉尔大学的研究团队提出了 TabPFN-MT，这是一种原生支持多任务的上下文学习器，通过扩展的多目标合成先验训练，能在一次前向传播中同时预测多个目标，大幅提升计算效率。
核心创新
TabPFN-MT 的架构改进集中在两个关键点：
- 扩展的 y 编码器（expanded y-encoder）：将每个样本的多个目标值编码为统一表示，使模型能同时处理多个标签。
- 共享解码器头（shared decoder head）：所有任务共享同一个解码器，从而在上下文学习中捕获任务间的依赖关系。
这种设计使得模型在推理时，对于 T 个任务的计算复杂度从传统的 O(T) 降至 O(1)，即无论有多少个目标变量，都只需一次前向传播即可完成所有预测。
性能表现
在344 个数据集上的广泛评估显示，TabPFN-MT 在中小规模数据集（平均样本数少于 1000）上取得了深度表格多任务学习的新最优结果。具体而言：
- 在多任务数据集上，其准确率平均排名为 4.89，是所有测试模型中的最高平均排名。
- 即使与最新的单任务集成模型相比，TabPFN-MT 依然极具竞争力，尽管多任务联合优化存在固有的计算不对称性。
行业意义
表格数据是金融、医疗、工业等领域最常见的结构化数据形式。传统多任务学习通常需要为每个任务单独训练模型或进行多次推理，成本高昂。TabPFN-MT 通过上下文学习替代梯度训练，特别适合样本量有限但任务繁多的场景（如小样本医疗诊断、多目标金融预测）。其 O(1) 推理成本 使得在边缘设备或实时系统上部署多任务模型成为可能。
局限与展望
当前模型主要面向中小规模数据集（<1000 样本），在大规模数据上的表现尚待验证。此外，多任务间的负迁移问题——即某些任务相互干扰导致性能下降——在 TabPFN-MT 中如何被缓解，论文未给出深入分析。未来工作可能包括扩展至更大数据集，以及探索更灵活的任务编码方式。
总体而言，TabPFN-MT 为表格多任务学习提供了一个高效、即用的新范式，其 “一次推理，多任务完成” 的特性有望在工业界快速落地。