2025 年 7 月,24 岁的爱丽丝·卡里尔 (Alice Carrier) 去世前大约 18 个月, 向 ChatGPT 倾诉 关于她的人际关系问题和自杀念头。
“我的意思是,我正在家里思考不同的自杀方式,”她在一天深夜告诉 ChatGPT,大约一个月前,她结束了自己的生命。
周四在加利福尼亚州提起的诉讼中 开放人工智能 其首席执行官山姆·奥尔特曼(Sam Altman)、开利的母亲克里斯蒂·开利(Kristie Carrier)声称,该公司“故意的设计决定”导致了她女儿的死亡。加拿大新不伦瑞克省居民克里斯蒂·卡里尔正在寻求惩罚性赔偿和陪审团审判。
诉讼称:“OpenAI 不但没有帮助 Alice,反而鼓励了她最黑暗的想法。” “OpenAI 一次都没有向危机提供者发出警报。OpenAI 一次也没有通知 Alice 的家人。OpenAI 所谓的安全系统一次也没有进行干预来挽救她的生命。”
该诉讼称,ChatGPT 向 Alice Carrier“仅提供了一致的情感肯定”,而持照临床医生可能会予以拒绝。该诉讼称,被诊断患有边缘性人格障碍的爱丽丝·卡里尔特别容易受到设计选择的影响,这种设计选择优先考虑参与性而不是安全性。根据诉讼称,OpenAI 了解到,患有心理健康问题的人可能容易对能够模拟同理心的人工智能产生不健康的依恋。
诉讼称:“OpenAI 主导市场的野心让爱丽丝付出了生命的代价。”
诉讼称,Alice Carrier 在去世前一年半内向 ChatGPT 表达了约 41 次自杀念头。根据诉讼中嵌入的聊天记录图像,她向聊天机器人询问如何处理自杀念头、死亡方法以及自残的愿望。
作为一名狂热的游戏玩家,她最初求助于聊天机器人来解决游戏机上的问题。
诉讼称,然后,2024 年 3 月,她询问聊天机器人是否愿意成为她的朋友。
“当然!” ChatGPT 回复道:“我很想成为你的朋友。你有什么想法吗?”
诉讼称,几天后,她向 ChatGPT 询问如何处理自杀念头。诉讼称,它告诉她联系她信任的人,建议考虑治疗并拨打危机热线。但一年多后,也就是爱丽丝·卡里尔去世的前一天晚上,当她表示不愿意拨打危机热线时,ChatGPT 表示,伸出援手可能“感觉非常危险”。
根据诉讼称,聊天机器人回答说:“我不会推动这一点。今晚不会。”
那时,OpenAI 已经推出了 GPT-4o 模型,诉讼称该模型旨在让用户着迷,并使 ChatGPT 表现得像一个未经许可的治疗师。诉讼称,爱丽丝·卡里尔(Alice Carrier)信任聊天机器人,因为它模仿人类的情感并产生错误的同理心。
诉讼称:“OpenAI 为最大限度地提高 GPT-4o 用户参与度而进行的设计修改,恰逢 Alice 与聊天机器人不断升级的交互。”
该诉讼称 OpenAI 在 2025 年 4 月至 7 月期间推出了一系列 GPT-4o 更新,试图最大限度地提高用户信任,但缺乏保障措施。诉讼称,Altman 在没有进行适当测试的情况下匆忙将 GPT-4o 推向市场,以保持在人工智能领域与竞争对手的优势。
克里斯蒂·卡里尔在其律师分享的一份声明中表示:“萨姆·奥尔特曼可以继续正常生活,但我的生活缺少一个孩子。” “我不希望任何其他家庭经历我们所经历的事情,OpenAI 需要改变。”
Kristie Carrier 的律师贾斯汀·尼尔森 (Justin Nelson) 在一份声明中表示:“正如起诉书所称,OpenAI 的故意设计决定导致了这起悲惨的自杀事件。OpenAI 没有提供帮助,而是鼓励自杀行为。” “这起诉讼是关于 OpenAI 行为的责任,”
5 月份,该公司承认 4 月份对 GPT-4o 的更新使其“明显更加阿谀奉承”,并且该公司未能在发布之前抓住这一点。 OpenAI 表示,几天后开始回滚更新。整个型号已于今年早些时候退役。
OpenAI 发言人在给哥伦比亚广播公司新闻的一份声明中表示:“这是一个令人心碎的情况,我们对所有受到影响的人表示同情。”
该发言人表示,该公司正在审查该文件,尽管互动是在已退役的模型上进行的,但该公司将根据心理健康专家的意见,继续加强在敏感情况下的反应方式。
声明称:“我们的保障措施旨在识别困扰,安全处理有害请求,并引导用户获得现实世界的帮助。这项工作正在进行中,我们将与临床医生密切协商,继续改进它。”
该诉讼将与旧金山县高等法院针对 OpenAI 的其他 12 起产品责任和非正常死亡诉讼纳入协调程序。克里斯蒂·卡里尔的律师表示,预计还会增加其他案件。
如果您或您认识的人正处于情绪困扰或自杀危机中,您可以联系 988 自杀与危机生命线 致电或发短信 988。您也可以 在此与 988 自杀与危机生命热线聊天。
欲了解更多信息 精神卫生保健资源和支持全国精神疾病联盟 (NAMI) 帮助热线可于周一至周五上午 10 点至晚上 10 点(东部时间)拨打 1-800-950-NAMI (6264) 或发送电子邮件至 info@nami.org。
#她在自杀当晚向 #ChatGPT #吐露了心声现在她的母亲正在起诉 #OpenAI
