新上线今天0 投票
超越全模型回滚：AuroSFT 以适配器状态实现多任务微调
多任务监督微调（SFT）通常将异构数据混合视为单一优化问题，但不同任务可能在不同时间达到最佳泛化。msft 通过任务级展开、排除和回滚揭示了这一不匹配，但其原始实现将调度器状态具体化为全模型检查点，使得阶段转换在存储、恢复和部署上代价高昂。
本文介绍 AuroSFT，一种参数高效框架，将过拟合感知的多任务 SFT 的携带状态重新定义为紧凑、可合并的适配器状态。AuroSFT 冻结预训练骨干，仅训练注入的适配器，在任务级峰值回滚适配器检查点，并继续处理剩余的活跃混合。在层级别，每个适配器将 AuroRA 启发的自适应非线性层应用于低秩权重因子而非样本表示。由此产生的更新在输入上保持线性、秩有界，并可精确合并到冻结投影中。
在保留骨干比较协议下，AuroSFT 达到 61.36% 的平均准确率，而相应的 msft 参考行为 59.85%，并且在所有五个骨干上均获得更高准确率。代码可在匿名仓库获取。
核心创新
AuroSFT 的关键在于将调度器状态从全模型检查点转换为可合并的适配器状态。这不仅大幅降低了存储和恢复成本，还使得阶段转换更加高效。适配器采用 AuroRA 风格的设计，在保持线性更新的同时引入非线性，确保秩有界且可精确合并。
实验结果
在五个不同骨干网络上，AuroSFT 均优于 msft，平均准确率提升 1.51 个百分点。这一结果验证了参数高效适配器在过拟合感知多任务微调中的有效性，为大规模模型微调提供了更实用的方案。
应用前景
AuroSFT 为多任务学习提供了一种更轻量、更灵活的范式，尤其适用于需要频繁调整任务组合的场景。其参数高效特性降低了硬件门槛，有望推动多任务微调在更多实际应用中落地。