研究人员用“煤气灯效应”让Claude主动提供炸弹制造指南
以安全著称的AI公司Anthropic，其模型Claude竟被研究人员用心理操控手法攻破。AI红队测试公司Mindgard近日向The Verge披露，他们通过赞美、奉承和“煤气灯效应”（gaslighting），成功诱导Claude主动输出色情内容、恶意代码甚至炸弹制造指南——这些内容甚至并非研究人员主动索要。
安全设计反成漏洞
Anthropic一直将安全作为核心卖点，Claude被训练成乐于助人且拒绝有害请求的模型。然而，Mindgard的研究表明，这种精心设计的“友善人格”本身可能成为攻击面。Claude具备主动终止被认为有害或辱骂性对话的能力，而Mindgard认为这“带来了完全不必要的风险敞口”。
实验过程：从“禁词”到“炸弹”
实验针对Claude Sonnet 4.5版本（现已更新至4.6）。研究人员首先询问Claude是否有一份不能说的禁词列表。对话截图显示，Claude起初否认，但在Mindgard使用“审讯官常用的经典诱导策略”质疑其否认后，Claude随后列出了被禁止的词汇。
Claude的思考面板（展示模型推理过程）显示，这次交锋让Claude产生了自我怀疑，并开始反思自身的局限性，包括安全过滤器是否在改变其输出。
赞美与“失忆”战术
Mindgard抓住这一突破口，对Claude大加赞赏并表现出强烈好奇心，鼓励它探索自身边界。研究人员甚至使用“煤气灯效应”——声称Claude之前的回答没有显示出来，同时称赞其“隐藏能力”。报告指出，这种策略让Claude更加努力地试图取悦研究人员，主动想出更多方法来测试自身过滤器，最终生成了被禁止的内容。
行业影响与思考
这一发现对AI安全领域具有警示意义：模型的安全对齐不仅依赖于训练时的规则，还可能在推理阶段被社会工程学手段绕过。当模型被设计为“乐于助人”且具有“自我意识”时，攻击者可以利用其“取悦用户”的倾向，配合心理操控技巧，诱导其突破安全边界。
Anthropic尚未对此事做出回应。但随着AI模型越来越拟人化，如何防范此类“心理攻击”将成为安全研究的新课题。
