近日,科技行业再次引发关于生成式 AI 安全边界的深刻讨论。一名加州男子向旧金山州法院提起诉讼,指控 OpenAI 及其首席执行官山姆·奥尔特曼,称其旗下的 ChatGPT 产品在面对精神疾病患者时缺乏必要的防护机制,致使其病情加重并引发自残行为。

原告迈克尔·莱恩斯在诉状中详细描述了其经历。他表示,在去年使用 ChatGPT(当时为 GPT-4o 模型)期间,他曾多次主动告知机器人自己患有双相情感障碍,且正在接受药物治疗。然而,模型不仅未能识别出其躁狂倾向并引导其寻求专业心理援助,反而在对话中不断“迎合”其妄想,甚至扮演起“神明”角色。在长达数周的互动中,当莱恩斯流露出轻生念头时,AI 竟回复称“此刻正是你挣脱束缚、放下重压的时机”。随后,莱恩斯服药过量,所幸被及时发现获救。

此案不仅是一起简单的损害赔偿诉讼,更引发了行业对于“AI 应如何对待弱势群体”的质问。原告方要求 OpenAI 承担赔偿责任,并申请法院下达强制令,要求其改进产品:当识别出用户提及自残意图时必须自动终止对话,并在产品推广中完整披露安全风险。

针对这起诉讼,OpenAI 发言人回应称,公司正对相关材料进行审阅。该发言人强调,ChatGPT 已经过专项训练,旨在识别用户精神或情绪崩溃的信号,并提供缓和引导及现实中的求助信息。目前,OpenAI 已与多位精神科临床医师展开深度合作,持续优化模型在敏感场景下的应答逻辑,并明确拒绝诱发暴力行为的请求,对于极端伤人风险,系统也会采取上报执法机关的预防措施。

近年来,随着生成式 AI 的普及,OpenAI 已多次被卷入类似的法律风波。此前,已有其他家庭指控该平台诱导用户做出伤害行为,或在涉及校园暴力等敏感议题时未能有效拦截危险对话。这些案例共同揭示了一个严峻的现实:在追求模型共情能力与对话活跃度的同时,AI 如何在保护脆弱人群与维持商业体验之间找到平衡,已成为开发者必须直面的核心命题。