精选今天0 投票
CaRE 协议：为掩码扩散语言模型建立可比较的评估标准
掩码扩散语言模型（MDLM）正快速发展，但评估标准却未能同步跟上。一项新研究指出，当前主流评估方法因未标准化计算量、随机性等关键因素，导致不同策略的排名结果不可比，甚至可能将评估噪声误认为算法改进。为此，研究团队提出了 CaRE（Compute-aware Remasking Evaluation） 协议，旨在为 MDLM 提供更可靠、可复现的评估框架。
研究发现，在七个近期的重掩码论文中，评估设置存在显著差异：名义步数、评估指标和采样温度各不相同，且未联合控制这些变量。这导致所谓的“策略排名”很大程度上无法比较，也无法确定性能提升究竟源于算法创新还是评估配置的差异。
CaRE 协议通过三个核心设计来解决这一问题：
- 标准化计算量：强制统一实际函数评估次数（NFE），而非名义步数，确保比较基于等量计算。
- 多指标报告：要求同时报告多个指标（如 MAUVE、困惑度等），避免单一指标偏差。
- 显式控制随机性：明确记录并控制采样温度等随机性参数。
研究团队在 LLaDA-8B-Base 和 Dream-7B-Base 两个模型上，对 7 种重掩码策略进行了测试，覆盖 4 种随机性水平和 3 个计算预算，数据集为 OpenWebText 和 LM1B。关键发现包括：
- 温度是主要影响因素：温度解释了 MAUVE 指标的大部分方差，远超算法策略本身。
- 计算量匹配后排名反转：在同等计算量下，多篇论文原本的排名顺序发生改变，意味着部分“改进”实际来自更多计算而非算法优势。
- 信息型重掩码与随机型重掩码存在冲突：在特定设置下（256 步，unmask_temp=0.25），高熵重掩码导致 MAUVE 下降 0.296（p=0.020）。
基于 CaRE 协议，团队还发布了涵盖 12 个开源 MDLM（150M 至 8B 参数） 的排行榜，证实上述趋势在不同架构和规模下普遍存在。
这项研究为 MDLM 社区敲响警钟：当前的评估方式可能系统性地将算法改进与隐藏的计算/随机性选择混淆。CaRE 协议及相关代码、排行榜已开源，以推动未来重掩码研究的可复现性和可比性。对于关注生成式 AI 模型评估的研究者与开发者而言，这是一个必须重视的基准更新。