新上线今天76 投票
用DeepSeek蒸馏GPT-OSS：金融推理超越Kimi K3，但审查机制会“遗传”吗？
蒸馏实验：用DeepSeek V4 Flash训练GPT-OSS
最近，一项实验将DeepSeek V4 Flash作为教师模型，对GPT-OSS-120B进行蒸馏，专攻金融推理任务。结果显示，蒸馏后的模型在8K token预算下，于FinanceReasoning基准上取得**83.61%**的准确率，超越了Kimi K3（81.93%）和Inkling（65.13%）。研究团队已开源20B权重的蒸馏版本。
审查机制的“遗传”问题
有趣的是，蒸馏过程并未完整继承教师模型的审查机制。DeepSeek V4 Flash在内容过滤上较为严格，而GPT-OSS作为开源模型，本身设计上更注重开放性。蒸馏后的模型在保留金融推理能力的同时，审查强度显著降低。这引发了AI安全领域的讨论：蒸馏是否会成为绕过内容限制的途径？
行业背景与意义
当前，大模型蒸馏技术日益成熟，成为提升小模型性能的主流手段。此案例表明，蒸馏不仅能迁移知识，还可能改变模型的行为特征。对于金融等垂直领域，高精度推理能力至关重要，但审查机制的弱化也可能带来合规风险。研究团队强调，他们主要关注技术可行性，并提醒社区注意模型行为的一致性问题。
开源与未来方向
20B权重已在Hugging Face上公开，供研究使用。团队下一步计划探索多教师蒸馏，并结合RLHF优化，以平衡能力与安全性。