SheepNav
AI专家逆势而行:高风险研究就该公开做
新上线今天0 投票

AI专家逆势而行:高风险研究就该公开做

在AI前沿实验室纷纷将高风险研究锁在门后的当下,两位行业科学家却选择了一条截然相反的路。他们创立非营利组织Trillium Labs,主张将递归自我改进(RSI)和智能体等敏感领域的研究公开进行。这究竟是天真,还是破解AI安全困局的关键一步?

封闭 vs. 开放:一场关于AI安全的路线之争

当前,OpenAI、Anthropic等头部公司的最强模型仅能通过应用或API访问,模型如何构建、如何行为,外界几乎无从知晓。支持者认为,将强大AI能力控制在少数可信者手中,是防止其造成现实危害的必要手段。

但Nathan Lambert和Tom Zick不这么看。他们共同创立了非营利研究机构Trillium Labs,聚焦递归自我改进(RSI)、智能体等潜在风险领域,并承诺公开实验细节,供外部科学家研究和复现。

Lambert曾任Ai2研究员,他告诉《连线》杂志:“过去几千年,人类用科学方法减轻伤害、建设更美好的未来。当前前沿AI的封闭发展轨迹,正在让我们倒退。”

透明度是风险放大器,还是安全阀?

封闭阵营的担忧不无道理。前沿模型已能自动发现软件漏洞、探测并入侵系统,近期多起备受瞩目的黑客攻击更让监管神经紧绷。

然而,Lambert认为,封闭反而削弱了社区审查想法、贡献新方法的能力。让外部专家了解模型的构建与调优方式,对缓解风险至关重要。

这一理念并非孤例。中国的小米近期公开了其模型重大训练运行的实时细节;斯坦福大学的研究人员也在公开预训练AI模型Marin。开放与封闭的路线之争,正成为AI行业的核心议题。

高风险研究公开做,可行吗?

Trillium Labs的实践意味着,实验的设计、过程和结果都将被记录并发布。这既能让更多科学家参与风险分析,也可能加速危险能力的扩散。

Lambert和Zick显然认为,共享对风险的理解,会让所有人更安全。在AI能力日益强大、安全争议愈演愈烈的今天,这场“公开做高风险研究”的实验,本身就是一次值得关注的探索。

延伸阅读

  1. 苹果收紧全磁盘访问权限,遏制 AI 代理滥用
  2. 肖恩·帕克携三大唱片公司重塑 Stability AI,这次他要从音乐合规切入
  3. Meta 开源 Muse AI 代理代码,让你自己打造专属 AI 小工具
查看原文