新上线今天0 投票
AdaStop：一种成本感知的深度神经网络测试早停方法
背景：DNN测试中的预算困境
在深度神经网络（DNN）测试中，现有方法通常假设一个固定的标注预算，并在此预算下优先选择最有可能揭示模型错误的测试输入。然而，实际应用中如何确定这个预算是一个难题：预算过少会遗漏关键故障，预算过多则导致不必要的标注成本。
核心创新：将测试视为成本-收益决策
针对这一痛点，来自Bonan Shen等人的最新研究提出了一种名为AdaStop的成本感知早停框架。该框架将DNN测试过程建模为一个成本-收益决策过程：每次标注一个测试输入需要付出成本 (c)，而发现一个故障则产生价值 (v)。基于此，AdaStop动态估计测试过程中的边际故障发现率，并在该比率低于阈值 (\tau = c/v) 时自动停止标注。
实验结果：高效发现故障
实验覆盖了多个数据集、网络架构和测试选择策略。结果显示，AdaStop能够在仅使用 9% 至 31% 的标注预算的情况下，发现 65% 至 84% 的故障。这一数据表明，AdaStop在显著降低测试成本的同时，仍能保持较高的故障覆盖率。
行业意义与未来方向
该研究为DNN测试中的预算分配提供了一种数据驱动的解决方案，尤其适用于标注成本高昂的工业场景。未来工作可能进一步探索自适应阈值设定、多任务测试等扩展方向。
论文发表于arXiv，编号 2607.05461，来自机器学习（cs.LG）与人工智能（cs.AI）领域。