新上线今天0 投票
前沿AI风险管理中的开放问题：一份问题导向的议程
随着前沿AI能力的快速提升，其带来的风险已从理论担忧走向现实挑战。然而，当前的风险管理实践却面临科学共识缺失、现有框架不匹配以及落地执行不足等多重困境。近日，由Marta Ziosi等29位研究者联合发布的预印本论文《Open Problems in Frontier AI Risk Management》系统梳理了前沿AI风险管理中的开放问题，旨在为学界、产业界和监管机构提供一份问题导向的议程参考。
三大问题类型：共识、框架与执行
论文将开放问题划分为三大类：
- 科学或技术共识的缺失：例如，如何定义和测量AI系统的“能力边界”？什么样的测试能可靠地评估灾难性风险？这些问题因技术迭代过快而缺乏稳定共识。
- 与现有风险管理框架的错位：传统风险管理（如ISO 31000）主要针对已知风险，而前沿AI可能产生“未知的未知”。新兴的安全实践有时反而会削弱既有框架的有效性。
- 共识存在但执行不足：即便在某些领域已达成原则性共识（如需要第三方审计），实际落地中仍存在资源分配、透明度不足等障碍。
全流程审视：从规划到缓解
研究采用问题导向方法，沿着风险管理的五个阶段——规划、识别、分析、评估、缓解——逐一梳理现状与缺口。例如：
- 风险规划：缺乏统一的前沿AI风险分类法，不同组织使用的术语和标准差异较大。
- 风险识别：如何提前发现“突现能力”（emergent capabilities）带来的新风险？现有方法多依赖事后分析。
- 风险分析：量化极端风险的概率极其困难，传统统计方法在长尾事件中失效。
- 风险评估：阈值设定缺乏科学依据，谁来决定“不可接受的风险”？
- 风险缓解：可解释性、鲁棒性等技术手段仍处于早期，且可能被对抗性攻击绕过。
谁该做什么？明确责任主体
论文的一大亮点是明确了各类开放问题对应的关键行动者：开发者需改进内部测试与安全文化；部署者应建立使用中的监控与熔断机制；监管者需要制定可操作的规则；标准制定机构应推动基准测试的标准化；第三方评估者需开发独立审计方法；而研究者则要填补基础理论空白。
一份“活”的议程文档
值得注意的是，该论文并非提供具体解决方案，而是作为一份议程设定参考文档。作者同时维护着一个在线实时更新的资料库，以持续跟踪进展并避免重复工作。这种“问题清单+责任分配”的模式，有望促进不同利益相关方之间的协调，减少碎片化努力。
背景与意义
当前，AI安全领域存在大量分散的研究，但缺乏系统性整合。这篇论文的出现恰逢其时——各国监管机构（如欧盟AI法案、美国行政令）正在制定规则，但技术细节仍需科学支撑。通过厘清“我们不知道什么”以及“谁应该解决它”，该工作为后续治理与研究提供了清晰的路线图。
总的来说，前沿AI风险管理不能仅靠技术突破，还需要制度设计、跨学科协作和持续迭代。这份开放问题清单，既是警示，也是行动的起点。