新上线今天0 投票
用自我蒸馏推理增强Amazon Nova监督微调：原理、验证与最佳实践
在监督微调（SFT）中，为训练数据构建高质量思维链（CoT）推理轨迹往往成本高昂且不切实际，导致许多开发者直接跳过推理步骤，仅使用输入输出对进行训练。然而，推理能力是Amazon Nova 2系列模型的核心优势，能显著提升编码、数学等复杂任务的性能。本文提出一种名为**自我蒸馏推理（Self-Distilled Reasoning, SDR）**的方法，为缺乏推理轨迹的数据集生成思维令牌，无需依赖外部教师模型。SDR的核心思路是复用基础Amazon Nova 2 Lite模型自身的思维链作为推理替代，从而在提升目标任务性能的同时缓解灾难性遗忘。实验在三个基准测试上验证了SDR的有效性：相比普通SFT，SDR在目标性能上表现相当或更优，且显著保留了通用能力；而模型合并虽能保留通用能力，但会牺牲SFT带来的性能增益。这一发现与自我蒸馏（self-distillation）领域的最新研究趋势一致，即模型在训练过程中从自身提取信息能带来额外收益。本文还提供了实践建议，包括何时选择SDR、如何平衡推理开销与性能提升，以及未来结合强化微调（RFT）的可能性。对于使用Amazon Nova 2定制服务的开发者而言，SDR提供了一条低成本、高效益的路径，让思维模型能力在特定领域落地成为可能。