精选今天0 投票
GPT-Red：解锁鲁棒性的自我改进
OpenAI 于 2026 年 7 月 15 日发布了 GPT-Red，这是一个自动化红队系统，通过自我博弈的方式提升 AI 安全性、对齐能力以及抵御提示注入的鲁棒性。
问题：红队测试的瓶颈
红队测试是发现模型漏洞、提升鲁棒性的关键手段。然而，当前的方法难以规模化，成为安全工作的瓶颈。常用的鲁棒性评估已被最新模型饱和，我们需要开发能够随着模型能力提升而同步扩展的安全与对齐方法。
方法：GPT-Red 的自我博弈
OpenAI 训练了 GPT-Red——一个自动化红队模型，旨在规模化发现漏洞，以便在广泛部署前修复。GPT-Red 是一个强大的攻击者，之前的模型对其提示注入攻击高度脆弱。研究人员利用 GPT-Red 对 GPT-5.6 进行对抗训练，显著增强了其对提示注入的鲁棒性。
背景与意义
AI 系统通过浏览器、连接应用、本地文件等工具频繁接触第三方数据。这些能力是执行真实世界任务的必要条件，但也为恶意行为者提供了更多影响模型行为的机会。例如，第三方可能在邮件、网页、工具响应或代码仓库中嵌入精心构造的指令，诱骗模型将敏感数据上传到外部服务器。
人类红队测试是安全工作的关键部分，有助于在部署前发现漏洞并设置适当防护。但仅靠人工难以规模化：设计和执行这些测试耗时费力，限制了发现新故障模式并将其整合到更强防护中的速度。此外，虽然人工测试能产生成功的攻击案例，但无法生成训练所需的大规模、多样化的对抗数据。
未来方向
OpenAI 认为，自动化红队测试解锁了一种关键的安全自我改进形式：利用今天的模型直接帮助未来的模型变得更安全。未来，他们将把这种方法与人类红队测试、第三方红队测试、分层防护以及实时监控相结合，持续提升 AI 系统的安全性。
