纠正性特征何时有效？一种用于黑盒预测器的纠正性特征发现智能体
预训练模型在部署时常常会出现结构化的、重复性的预测错误，而通过微调修复这些错误成本高昂。为此，研究者提出了一种新的思路：纠正性特征发现——从冻结的预训练预测器的残差中挖掘可解释的特征，用于驱动轻量级的后处理纠正器。与传统的自动特征工程建模数据生成过程不同，纠正性特征建模的是模型失败过程。
在这项研究中，来自多所机构的研究团队提出了 CRAFTER（基于特征的时间探索与推理的纠正残差智能体）。CRAFTER 保持骨干网络冻结，通过两个互补的生成器挖掘残差：一个是对原始输入通道进行组合搜索的组合搜索器，另一个是提出命名特征组合、二元标志和简短可执行代码的大型语言模型（LLM）。无论候选特征来自哪个生成器，都需要通过一个基于验证集的统一门控机制来决定是否接受。随后，一个基于验证集选择的纠正器会应用这些被接受的特征，或者保持预测不变。这种与来源无关的流程还允许在相同条件下评估先前的特征工程系统，使 CRAFTER 成为将预测改进归因于特征来源的工具。
实验在六个公共数据集和六个冻结骨干网络上进行，结果显示 CRAFTER 在每个特征预算下都超越了所有专门的自动特征工程系统。与仅使用纠正器相比，CRAFTER 的改进幅度大约翻倍，并将最弱骨干网络的误差降低了高达 27%。这些增益在不同 LLM 后端下都很稳健，甚至应用于微调后的骨干网络时依然有效。
这项研究的意义在于，它提供了一种无需微调即可修复预训练模型错误的新方法。通过挖掘模型失败的模式，CRAFTER 不仅提升了预测准确性，还提供了可解释的特征，帮助研究者理解模型的系统性缺陷。这对于资源受限的场景尤其有价值，因为微调大型模型往往需要大量的计算资源。
然而，研究者也指出，纠正性特征发现并非总是有效。其效果取决于残差中是否包含可学习的结构，以及生成器能否找到有意义的特征。因此，未来的工作可能会进一步探索何时纠正性特征最有用，并优化特征生成与选择过程。