SheepNav
新上线今天0 投票

Discord 承认 AI 审核系统误封 8000 多名用户:棋盘、表格等无害图片被误判

Discord 近日承认,其 AI 审核系统存在一个严重漏洞,导致超过 8000 名用户在过去两个月内被错误封禁。这些用户上传的无害图片——包括电子表格、棋盘、游戏纹理以及白色和灰色透明背景——被系统错误地标记为有害内容。问题自 5 月起开始影响账户,上周末又有 200 名用户被封禁,直到团队确认并修复了问题。目前,所有受影响的账户正在逐步恢复。

误封事件的来龙去脉

Discord 在 X 平台发布详细说明,解释道:其自动化安全系统通过将上传内容与已知有害材料数据库进行匹配来识别违规内容。尽管技术设计初衷是捕捉非法内容,但公司承认有时会产生误报。正常情况下,系统会先由人工审核员审查标记内容,但此次漏洞导致系统直接封禁了受影响账户。

“我们正在加强防护措施以防止此类事件再次发生,”Discord 写道。

用户反馈与推测

在 X 和 Reddit 上,许多用户声称自己仅仅因上传包含方形网格图案的图片就被永久封禁。部分用户猜测,Discord 的 AI 审核工具对网格状图案变得异常敏感,是因为这些图案此前曾被用于试图隐藏或伪装 NSFW 及儿童剥削内容,以规避自动检测系统。受影响的用户表达了强烈不满,认为基于自动检测的永久封禁会带来严重后果,尤其是对于那些依赖 Discord 进行工作、游戏社区或远距离社交的用户。

一位 X 用户写道:“因为如此不公的原因失去 Discord 账户可能极具毁灭性,并严重影响用户。每天都有数百万用户受到虚假 AI 封禁的影响。这必须停止。”

反思:AI 审核的困境

此次事件凸显了 AI 辅助审核日益增长的挑战。随着越来越多的平台依赖自动化系统大规模识别非法或滥用内容,误报问题成为不可避免的副作用。Discord 的案例表明,即使是经过人工审核流程设计的系统,也可能因技术漏洞导致错误决策。如何在效率与准确性之间取得平衡,是行业亟待解决的难题。

Discord 承诺改进防护措施,但用户信任的修复可能需要更长时间。

延伸阅读

  1. 微软加入AI省钱大军:转向自家模型,减少依赖OpenAI和Anthropic
  2. Anthropic 将 Claude Cowork 扩展到移动端和网页版
  3. 为数据集注入业务上下文:从传统 Topics 迁移至 Amazon QuickSight 语义数据集
查看原文