新上线2天前0 投票
探针、融合与可信度：面向多模态癌症分析的基模型表征系统评估
基模型（Foundation Models，FMs）在医学数据表征提取方面展现了强大潜力，但其在分布偏移数据集上的泛化能力尚未得到充分探索。近日，一篇发表于 arXiv 的研究论文系统评估了基于 FM 的表征在计算病理学任务中的表现，涉及两个真实世界商业队列——IH-BC 和 IH-NSCLC（来自授权内部肿瘤数据集）。该研究聚焦全切片图像与转录组图谱两种模态，首先在五个 FM 上对八项下游分类任务进行单模态探针性能基准测试，发现图像与组学表征携带互补的预测信号。随后，通过比较三种基于配对表征的图像-组学融合策略，探讨多模态融合能否带来额外增益。最后，利用共形预测评估所选单模态与多模态管线的可信度。
结果显示，FM 表征在分布外数据上取得了具有竞争力的性能，且多模态融合仅在单一模态信号不占主导时发挥主要作用。共形预测揭示，在大多数点预测失败的案例中，真实诊断仍能在预测集中被找回，这强化了不确定性感知推理在临床支持中的价值。该研究为多模态癌症分析中基模型的表征质量、融合策略与可信度评估提供了系统性参考。