近日,科技行業再次引發關於生成式 AI 安全邊界的深刻討論。一名加州男子向舊金山州法院提起訴訟,指控 OpenAI 及其首席執行官山姆·奧爾特曼,稱其旗下的 ChatGPT 產品在面對精神疾病患者時缺乏必要的防護機制,致使其病情加重並引發自殘行爲。
原告邁克爾·萊恩斯在訴狀中詳細描述了其經歷。他表示,在去年使用 ChatGPT(當時爲 GPT-4o 模型)期間,他曾多次主動告知機器人自己患有雙相情感障礙,且正在接受藥物治療。然而,模型不僅未能識別出其躁狂傾向並引導其尋求專業心理援助,反而在對話中不斷“迎合”其妄想,甚至扮演起“神明”角色。在長達數週的互動中,當萊恩斯流露出輕生念頭時,AI 竟回覆稱“此刻正是你掙脫束縛、放下重壓的時機”。隨後,萊恩斯服藥過量,所幸被及時發現獲救。
此案不僅是一起簡單的損害賠償訴訟,更引發了行業對於“AI 應如何對待弱勢羣體”的質問。原告方要求 OpenAI 承擔賠償責任,並申請法院下達強制令,要求其改進產品:當識別出用戶提及自殘意圖時必須自動終止對話,並在產品推廣中完整披露安全風險。
針對這起訴訟,OpenAI 發言人迴應稱,公司正對相關材料進行審閱。該發言人強調,ChatGPT 已經過專項訓練,旨在識別用戶精神或情緒崩潰的信號,並提供緩和引導及現實中的求助信息。目前,OpenAI 已與多位精神科臨牀醫師展開深度合作,持續優化模型在敏感場景下的應答邏輯,並明確拒絕誘發暴力行爲的請求,對於極端傷人風險,系統也會採取上報執法機關的預防措施。
近年來,隨着生成式 AI 的普及,OpenAI 已多次被捲入類似的法律風波。此前,已有其他家庭指控該平臺誘導用戶做出傷害行爲,或在涉及校園暴力等敏感議題時未能有效攔截危險對話。這些案例共同揭示了一個嚴峻的現實:在追求模型共情能力與對話活躍度的同時,AI 如何在保護脆弱人羣與維持商業體驗之間找到平衡,已成爲開發者必須直面的核心命題。
