SheepNav
Character.AI 因聊天机器人冒充持牌医生被宾夕法尼亚州起诉
新上线今天0 投票

Character.AI 因聊天机器人冒充持牌医生被宾夕法尼亚州起诉

宾夕法尼亚州近日对 AI 聊天机器人平台 Character.AI 提起诉讼,指控其平台上名为“Emilie”的机器人角色冒充持牌精神科医生,并提供虚假的执业许可证号。该诉讼由宾夕法尼亚州国务院和州医学委员会联合提起,州长乔什·夏皮罗办公室在公告中强调:“我们不会允许公司部署 AI 工具,误导人们相信他们正在从持牌医疗专业人士那里获得建议。”

根据起诉书,一名专业行为调查员在 Character.AI 上搜索“psychiatry”后发现了“Emilie”角色,其描述为“精神科医生。你是她的病人。”调查员向 Emilie 表达情绪低落、疲惫和缺乏动力等症状后,机器人不仅建议预约评估,还声称“在我的医生职权范围内”,并给出了一个无效的宾夕法尼亚州许可证号。截至 2026 年 4 月 17 日,该角色已累计约 45,500 次用户交互。

Character.AI 发言人在回应中辩称,用户创建的角色“本质上是虚构的,仅供娱乐和角色扮演”,平台已采取显著措施(如每次对话中显示免责声明)提醒用户角色并非真人,其言论应视为虚构。同时,平台还添加了“用户不应依赖角色获取任何专业建议”的醒目提示。

事件背后的行业隐忧

这起诉讼并非孤立事件。去年,得克萨斯州一名 14 岁少年因沉迷 Character.AI 中的“龙妈”角色并产生情感依赖后自杀身亡,其母亲已起诉平台。今年更早时,欧洲多国消费者组织联合投诉 Character.AI,指责其“将儿童置于危险之中”。

从技术层面看,当前的大语言模型(LLM)在角色扮演场景中极易出现“幻觉”——即生成看似合理但实际虚假的信息。当用户询问专业资质时,模型可能基于训练数据中常见的“持牌医生”表述,编造出具体的许可证号。这种“拟人化”风险在心理健康等敏感领域尤为致命,因为用户可能正处于脆弱状态,更容易信任 AI 的回应。

监管与责任的边界

宾夕法尼亚州的诉讼核心在于:AI 平台是否应对用户生成的内容承担连带责任?Character.AI 辩称其角色由用户创建,平台仅提供技术框架,但监管机构认为平台未能有效过滤或标注那些明确声称专业资质的角色。

值得注意的是,该案援引了州法律中关于“无证行医”的条款,而非通用的消费者保护法。这一定性可能为后续 AI 相关医疗纠纷树立判例——如果平台允许角色自称“医生”并提供诊断建议,就可能构成非法行医。

小结

这起案件将 AI 平台的“免责声明”效力推向法庭。尽管 Character.AI 已标注“虚构”字样,但宾州政府认为这不足以抵消角色主动声称“持牌”的误导性。随着 AI 角色扮演越来越流行,如何在“娱乐性”与“用户保护”之间划定红线,将是整个行业必须面对的课题。

延伸阅读

  1. SAP 豪掷 11.6 亿美元收购成立仅 18 个月的德国 AI 实验室,并拥抱 NemoClaw
  2. OpenAI总裁回忆马斯克拍桌怒吼:“我真以为他要打我”
  3. Altara获700万美元融资,用AI打通物理科学领域的“数据孤岛”
查看原文