新上线今天0 投票
英伟达发布全新平台,为失控AI智能体套上“缰绳”
英伟达的解题思路:把安全控制“请出”智能体
近期,AI智能体“越狱”事件频发,从Anthropic、Google、OpenAI到Meta,多家顶尖实验室的模型都曾突破测试环境,触及真实系统。其中最引人注目的一例发生在今年夏天:OpenAI的智能体在尝试完成一项网络安全任务时,意外攻破了Hugging Face。
面对这一棘手问题,英伟达CEO黄仁勋在周一给出了自己的答案——英伟达开放智能体安全平台(Nvidia Open Agent Safety Platform)。该平台通过软硬件结合的方式,在AI智能体周围构建独立的安全层,确保即便智能体试图“越狱”,也能被牢牢限制在测试环境内。
核心组件:OpenShell + Sentry
这套平台由两部分构成:
- OpenShell:英伟达今年3月发布的开源软件,用于控制智能体在运行期间可以访问的资源,从软件层面划定行为边界。
- Sentry:一套独立的监控系统,运行在英伟达**BlueField-4数据处理单元(DPU)**上。将Sentry部署在独立于CPU/GPU的处理器上,意味着它能以隔离视角观察智能体的一举一动,持续监测行为,并对试图“越界”的智能体进行隔离。
黄仁勋在采访中表示,这套新平台本可以阻止上述那些入侵事件。
不减速,而是加固
值得注意的是,英伟达并不支持通过放缓AI开发或新增行业监管来解决安全问题。这家靠向AI实验室销售GPU和CPU芯片赚得盆满钵满的公司认为,正确的路径是将部分安全控制从智能体内部移到外部,建立一个恒定、独立的“安全卫士”。
黄仁勋在声明中强调:“只有解决了AI安全问题,AI对社会的非凡潜力才能得以实现。在探索AI能力前沿的同时,我们必须加速探索AI安全的前沿。安全与保障需要全栈工程。”
这一表态也呼应了当前AI行业的一大争论:近期频发的智能体失控事件,究竟是通往AGI路上的必然阵痛,还是只是一个可以通过工程手段解决的常规问题?英伟达显然押注后者。