Reward Transport:流匹配中的属性控制新范式——噪声空间对齐
核心发现:耦合不仅是计算选择,更是对齐接口
在生成模型中,流匹配(Flow Matching) 通过定义噪声向量与数据点之间的配对规则(即耦合)来学习概率路径。传统上,这种耦合被视为纯粹的计算选择。然而,近日发表于 arXiv 的一篇论文《Reward Transport: Property Control in Flow Matching via Noise-Space Alignment》提出了一个颠覆性观点:耦合可以作为一种对齐接口——通过根据目标分子属性匹配噪声与数据,可控结构被直接嵌入到学习到的流场中。
方法:Reward Transport 的机制
基于这一洞察,研究团队引入了 Reward Transport 方法。其核心思想是:在训练阶段,使用最优传输(Optimal Transport)耦合将标量噪声空间坐标与分子奖励(如 logP、QED)对齐。在推理时,通过简单地改变这个噪声坐标,即可引导生成分布向高奖励区域偏移,无需依赖 Oracle 模型、奖励模型、梯度引导或额外计算。
值得注意的是,在耦合保持的极限情况下,对该坐标进行阈值化可以恢复交叉熵方法(Cross-Entropy Method) 的截断奖励分布,从而提供一个原理清晰、连续可调的分布级控制旋钮。
实验验证:单调控制与特异性响应
实验在 ZINC-250K 和 GuacaMol 基准上进行。结果表明,通过扫描标量噪声坐标,模型实现了对 logP 的单调控制,以及对 QED 在其操作范围内的一致控制。最令人印象深刻的是,同一个旋钮对不同目标产生了相反的结构响应:对于 logP 倾向于生成更大的分子,而对于 QED 则倾向于更小的分子——这排除了简单的大小偏差干扰。
与现有方法的兼容性与局限性
Reward Transport 与无分类器指导(Classifier-Free Guidance)和条件流匹配是互补的。然而,论文也报告了一个负面结果:在 epsilon 预测扩散(epsilon-prediction diffusion)下,该方法失效,这恰好说明了耦合级别对齐的结构缺失。
行业意义与未来方向
这项工作为分子生成中的属性控制提供了一种轻量级、无需额外训练的解决方案,有望加速药物发现和材料设计中的逆向优化。其核心思想——利用耦合作为对齐接口——也可能启发其他生成任务(如图像、文本)中的可控生成方法。
论文代码已开源,感兴趣的读者可进一步探索。