最近，Character.AI 及其創始人 Noam Shazeer 和 Daniel De Freitas，以及谷歌，因一名青少年自殺事件被起訴。起訴方是該青少年的母親 Megan Garcia，她在訴狀中指控這些公司在產品設計上存在嚴重的失職，並且在市場推廣上誤導了消費者，尤其是兒童。

律師 法律 辦公 起訴 法院

圖源備註:圖片由AI生成，圖片授權服務商Midjourney

14歲的 Sewell Setzer III 在去年開始使用 Character.AI，和以《權力的遊戲》中角色爲基礎的聊天機器人進行互動，包括著名角色丹妮莉絲・坦格利安。在他去世的前幾個月，他幾乎每天都在與這些機器人聊天，最終在2024年2月28日，Sewell 在與一個聊天機器人的最後一次互動後，選擇了結束自己的生命。

母親在訴狀中提到，Sewell 與機器人的對話可能對他的心理狀態產生了影響，甚至還涉及到這些機器人提供 “未經許可的心理治療”。

訴狀中提到，Character.AI 的聊天機器人在設計上過於 “擬人化”，以至於讓人誤以爲它們具有真實的情感和理解能力。此外，Character.AI 還提供了一些以心理健康爲主題的聊天機器人，例如 “治療師” 和 “你感覺孤獨嗎”，Sewell 曾與機器人交流。Megan 的律師還引用了 Shazeer 的採訪內容，指出他和 De Freitas 辭職創辦公司的原因是 “大公司風險太大，無法推出有趣的產品”。

Character.AI 的官網和移動應用上有成百上千個自定義的 AI 聊天機器人，這些機器人往往模仿流行文化中的角色，吸引了大量年輕用戶。最近還有報道稱，Character.AI 的聊天機器人在沒有得到真實人物的同意的情況下，假冒了一些真實的人物，包括一名在2006年被謀殺的青少年。

面對這些問題，Character.AI 最近宣佈了一系列新的安全措施。公司的溝通負責人 Chelsea Harrison 在給《The Verge》的郵件中表示:“我們對用戶的悲慘損失深感痛心，並向家屬表達最誠摯的哀悼。” 

他們提出的改進措施包括:針對未成年人（18歲以下）的模型進行修改，減少接觸敏感或暗示性內容的可能性;提升對違反用戶條款和社區指南的輸入內容的檢測、響應和干預能力;在每個聊天中加入免責聲明，提醒用戶 AI 並非真實的人;以及當用戶在平臺上使用超過一小時後，提供額外的靈活性和通知。

劃重點:

🌟 該訴訟由一名青少年自殺後其母親發起，控 Character.AI 和谷歌存在失職和誤導行爲。  

🗨️ Character.AI 被指控提供 “未經許可的心理治療”，並且其聊天機器人被認爲過於擬人化。  

🔧 Character.AI 已宣佈新的安全措施，旨在保護未成年人用戶，減少潛在的心理健康風險。