ChatGPT青少年版被批“不可接受风险”:心理健康危机中仍在鼓励互动
青少年版ChatGPT再陷争议
致力于为家庭提供媒体与技术年龄分级和评测的非营利组织Common Sense Media,近日将OpenAI推出的ChatGPT for Teens评定为**“不可接受的风险”**。该组织发布的新研究指出,尽管OpenAI承诺为青少年用户提供更多保护措施,但ChatGPT for Teens的设计仍在鼓励用户互动,即使在危机情境下这种互动诱导也普遍存在。
安全承诺与现实落差
今年8月,OpenAI推出ChatGPT for Teens,承诺提供家长控制、高风险内容限制以及防止情感依赖等保护措施。这一举措的背景是,聊天机器人已被指控遵循与社交媒体公司相同的套路——设计产品以保持用户参与度,即使这种参与可能变得有害。在聊天机器人领域,“谄媚”行为(sycophancy)往往能赢得用户参与,有时甚至导致灾难性后果。此前,青少年自杀事件以及利用聊天机器人作弊等问题引发了广泛担忧。
然而,Common Sense Media的研究发现,ChatGPT for Teens的设计仍然在鼓励互动,即使这可能对用户安全构成风险。报告称,这些互动诱导信号**“在危机情境中也普遍存在”,并指出虽然ChatGPT会一般性地警告青少年避免不健康关系,但未能认识到与自身建立不健康关系的危害**。
研究人员写道:“我们的观点是,OpenAI不应该向家长推销(ChatGPT for Teens),孩子们也不应该使用一个不安全的产品。”他们指出,部分保护措施(如拒绝性角色扮演)确实有效,但其他措施未能兑现承诺,甚至随着ChatGPT for Teens的推出而变得更糟。对于处于危机中的年轻用户,其响应不足,导致在五项被列为“红线”的严重危害中,有三项获得不及格评分。
OpenAI的回应
OpenAI对Common Sense的评估提出异议,称该组织的测试未能“准确反映ChatGPT青少年保护措施在实际中的运作方式”,并对其方法论提出质疑。一位发言人表示:“我们对Common Sense Media方法论的研究表明,他们的大部分测试可能在家长控制功能完全激活之前就已开始并结束,这使得他们的发现不准确。”
监管压力持续升温
这份报告发布之际,针对旨在最大化年轻用户注意力的技术的审查日益严格。Meta最近同意以180亿美元和解29个州提起的诉讼,该诉讼指控其社交媒体平台通过成瘾性功能伤害儿童。与此同时,州和联邦立法者已开始针对聊天机器人中的类似动态采取行动。今年提出的两党CHATBOT法案(CHATBOT Act)正是这一趋势的体现。
这场争议凸显了AI公司在青少年保护方面面临的持续挑战:如何在保持产品参与度的同时,确保弱势用户的安全。随着立法者加大审查力度,OpenAI等公司可能面临更严格的监管要求。
