校准虚拟筛选中的无声失败:边际共形预测对少数类覆盖不足,条件共形修复方案
共形预测(Conformal Prediction)正被引入药物发现领域,以提供模型可靠性的量化保证:设定错误率α,该方法返回的预测集以至少1-α的概率包含真实标签。然而,一项新研究揭示了这一保证在不平衡数据集上的潜在危险。
来自Champions College Prep的研究团队在arXiv预印本(2607.06605)中指出,标准(边际)共形预测在四个真实药物发现数据集上实现了全局90%的覆盖率目标,但对少数类的覆盖严重不足。例如,在血脑屏障穿透数据集中,少数类覆盖率仅64.8%;而在临床试验毒性数据集中,这一数字骤降至4.2%,几乎完全忽略了罕见类别。
这种失败并非特定模型所致:随机森林、图神经网络和冻结化学语言模型均复现了该现象(p<0.001),且严重程度与模型在罕见标签上的基线校准相关,而非架构差异。研究团队通过守恒恒等式解释了这一效应:少数类的覆盖缺口等于多数类的覆盖盈余乘以不平衡比率,该公式预测的差距与实际测量值误差在1个百分点以内,并能跨数据集排序严重程度。
值得注意的是,这种失败在现实场景中极易被忽视:聚合准确率和总体覆盖率保持高位,但少数类却被系统性地遗漏。即便采用真实的骨架划分和第二种共形评分,问题依然存在。
作为解决方案,研究团队提出采用类别条件(Mondrian)共形预测,该方法在每个数据集上均恢复了目标覆盖率,仅以预测集大小适度增加为代价。进一步分析将失败定位到通用分子骨架(如苯和吡啶核心),并提出了单数值诊断指标。通过成本模型模拟,研究者表明,对受影响化合物进行弃权(abstention)可将筛选活动从净负效用转为净正效用。
该研究的核心贡献在于:用真实化学数据证明了已知的共形理论缺口在不平衡数据下变得多么严重且隐蔽,并为药物发现中的可靠虚拟筛选提供了实用修复方案。对于AI驱动的药物研发而言,这项工作敲响了警钟:仅仅追求全局指标可能会掩盖关键少数类别的性能崩溃,而类别条件共形预测或将成为标准实践的必要补充。