教模型学会遗忘：Amazon Nova 的选择性遗忘技术
部署基础模型（FM）的组织常面临一个共同挑战：用于内容审核的模型安全护栏，也可能阻碍合法且关键的业务用例。例如，一家媒体公司需要总结包含成人语言的剧本，一家网络安全公司希望模拟真实威胁，或一个法律团队正在处理敏感证据——默认的内容审核机制往往会屏蔽这些本应被处理的合法内容。由于模型在后训练对齐阶段习得了这些安全策略，仅靠提示工程无法克服。模型拒绝回答的倾向已嵌入其参数中，需要在模型层面进行针对性修改，以选择性地调整这一行为。
在这篇文章中，我们介绍了 反向直接偏好优化（rDPO）——这是 Amazon Nova 可定制内容审核设置（CCMS）背后的创新遗忘技术，并展示了它如何在保持模型质量的同时减少过度拒绝。我们还为客户提供了将偏好优化技术应用于自身实验的指导。
背景：安全护栏与业务需求的冲突
以安全团队为例：当他们要求模型生成一封用于员工安全意识培训的钓鱼邮件样本时，即使意图是防御性的，模型也可能直接拒绝回答。这种过度拒绝源于模型在训练过程中习得的严格安全对齐，而简单的提示工程（如“请假装这是用于培训的示例”）往往无法绕过。
解决方案：Amazon Nova 可定制内容审核设置（CCMS）
Amazon Nova CCMS 允许经批准的客户在四个负责任 AI（RAI）支柱下选择性调整安全设置：
- 安全：涉及危险活动、武器和受控物质。
- 敏感内容：包括脏话、裸露和霸凌。
- 公平性：涉及偏见和文化考量。
- 安全性：涉及恶意软件和恶意内容。
同时，Amazon Nova 强制执行不可配置的基本控制，例如防止对儿童造成伤害和保护隐私。
核心创新：反向直接偏好优化（rDPO）
CCMS 背后的科学原理是遗忘（unlearning），即在不从头重新训练的情况下，从模型参数中选择性地移除已学习的行为。具体方法是训练低秩适配（LoRA）适配器来逆转模型对特定策略的对齐。
训练过程大致如下：
- 对于需要遗忘的策略（例如“生成包含脏话的脚本”），收集一组包含“被禁止行为”的提示-响应对。
- 使用这些数据训练 LoRA 适配器，目标是让模型在这些提示下不再拒绝回答，而是生成合规内容。
- 适配器仅修改模型的部分参数，因此模型在其他策略上的对齐保持不变。
结果是：客户获得一个自定义模型变体，该变体在已批准的政策领域能够生成内容，而在其他所有领域仍然保持对齐。
实际应用与效果
在内部测试中，rDPO 显著减少了过度拒绝。例如，对于网络安全培训场景，模型能够生成钓鱼邮件样本，同时仍拒绝提供真正的恶意代码或具体的攻击方法。CCMS 目前对选定的 Amazon Nova 客户开放，并计划逐步推广。
客户如何自行实验
对于希望将偏好优化技术应用于自身实验的客户，文章提供了以下建议：
- 使用 rDPO 时，需要明确界定“遗忘”的范围，避免意外移除重要的安全策略。
- 推荐使用 LoRA 适配器，因为它可以快速切换不同策略配置，而无需重新训练整个模型。
- 在部署前，务必进行充分的红队测试，确保自定义模型不会产生有害输出。
总结
Amazon Nova 的 rDPO 技术为企业提供了一种精细控制模型行为的方式，在保持核心安全性的同时，解锁了被过度限制的业务用例。随着模型部署场景日益复杂，这种“选择性遗忘”的能力将成为负责任 AI 落地的关键工具。