新上线今天0 投票
离散扩散语言模型控制生成新突破：自适应调度避免质量退化
背景：离散扩散语言模型的控制生成挑战
离散扩散语言模型（DLMs）通过并行迭代去噪生成文本，是自回归模型的一种替代方案。然而，从自回归模型引入的控制生成方法——即在每个去噪步骤施加统一干预——会导致生成质量下降，且当同时控制多个属性时，退化会加剧。
诊断：属性承诺的差异化调度
为探究失败原因，研究团队在四个不同规模的DLM上（参数从1.24亿到80亿）训练了稀疏自编码器。他们发现，不同属性在去噪过程中的“承诺”时点各不相同，体现在时机、尖锐度和幅度上。例如：
- 主题在去噪的前2%内就已固化；
- 情感则需约20%的过程才逐渐浮现。
因此，统一干预会在属性已固化或尚未形成的步骤上浪费控制能力，导致效率低下。
解决方案：自适应调度器
论文提出一种自适应调度器，将干预集中在属性正在形成的步骤上，其余步骤保持生成自然进行。该方法在成本-控制权衡上具有闭式解：自适应调度的优势由承诺分布的单一离散统计量决定。
实验效果：多属性控制显著提升
在四个DLM和七个控制任务上，该方法实现了精确控制，且无统一干预典型的质量退化。特别是在同时控制三个属性的挑战性任务中，自适应调度器达到了高达93%的控制强度，比最强基线高出15个百分点，同时保持生成质量。
意义与展望
这项工作揭示了离散扩散模型控制生成的关键机制——属性承诺的差异化调度，并提供了理论驱动的解决方案。它表明，针对模型内部动态进行干预调度，可以避免盲目应用统一方法带来的质量损失。未来，该思路可扩展到更多属性和更大规模模型，为可控文本生成提供更精细的工具。