SheepNav
新上线今天0 投票

Lookahead Drifting Model:提前一步,让生成模型更快更准

近年来,扩散模型在图像生成领域取得了突破性进展,但其多步迭代采样的过程往往耗时较长。为了解决这一问题,单步神经函数评估(NFE) 成为研究热点。2025年,一种名为 Drifting Model 的新范式被提出,它通过计算一个“漂移项”来引导模型输出,在 ImageNet 上以单步 NFE 实现了 SOTA 性能。近日,来自新西兰维多利亚惠灵顿大学和日本 NTT 的研究团队在此基础上提出了 Lookahead Drifting Model,进一步提升了生成质量。

从单步漂移到多步“前瞻”

原始 Drifting Model 的核心思想是:在每次训练迭代中,计算一个漂移项,然后将模型输出往该漂移项的方向推动。这个漂移项本质上利用了正样本的信息,引导模型输出向真实分布靠近。然而,单次漂移项只能捕捉一阶梯度信息,对于复杂的分布映射可能不够充分。

Lookahead Drifting Model 的关键改进在于:在每次训练迭代中,顺序计算一组漂移项。每个新的漂移项都会利用之前计算出的漂移项、正样本以及当前模型输出。这样,后续的漂移项能够捕获 高阶梯度信息,从而更精准地指向正样本区域。最后,模型输出会朝着这些漂移项的加权求和方向进行优化。

实验表现:简单数据上的显著提升

研究团队在 Toy 示例CIFAR-10 数据集上进行了验证。实验结果表明,Lookahead Drifting Model 在生成质量上显著优于原始 Drifting Model 基线。虽然目前尚未在 ImageNet 等大规模数据集上进行测试,但这一改进思路为单步生成模型提供了新的方向。

行业意义与未来展望

Lookahead Drifting Model 的提出,体现了生成模型领域对 “更快 + 更好” 的持续追求。单步 NFE 方法有望大幅降低推理延迟,使得高保真图像生成在实时应用(如视频编辑、交互式设计)中成为可能。此外,该方法的“前瞻”机制类似于优化算法中的 Nesterov 动量,或许能启发更多跨领域的技术融合。

当然,该研究仍处于早期阶段。如何将 Lookahead Drifting Model 扩展到更高分辨率、更复杂的数据集,以及如何与其他生成框架(如 GAN、流匹配)结合,都是值得探索的方向。对于关注生成模型效率的研究者而言,这篇论文提供了一个简洁而有效的改进方案。

延伸阅读

  1. 内生机制切换:标量不可约学习动力学驱动自主智能新范式
  2. MetaAdamW:自注意力元优化器实现分组自适应学习率与权重衰减
  3. 基于群分解理论与参数划分的变换分类方法
查看原文