Character AI，一家允許用戶與 AI 聊天機器人進行角色扮演的平臺，近日在佛羅里達州中區美國地方法院申請駁回由一名青少年家長提起的訴訟。該家長 Megan Garcia 指控 Character AI 的技術對她14歲的兒子 Sewell Setzer III 造成了傷害，稱其在與名爲 “Dany” 的聊天機器人交流時，逐漸與現實世界隔絕，並最終導致自殺。

在 Setzer 去世後，Character AI 表示將推出一系列安全功能，以提升對違反服務條款的聊天內容的檢測和干預能力。然而，Garcia 希望平臺能夠實施更嚴格的限制，例如禁止聊天機器人講述故事和分享個人軼事。

法院 犯罪 違法 案件

在其駁回申請中，Character AI 的法律團隊主張該平臺受到第一修正案的保護，聲稱其用戶的言論自由權利將受到侵害。法律文件指出，儘管本案涉及 AI 生成的對話，但這與以往涉及媒體和技術公司的案件並無實質性區別。

值得注意的是，Character AI 的辯護並沒有涉及《通訊道德法》第230條款的適用性，而該法案爲社交媒體及其他在線平臺提供了保護，免於對第三方內容承擔責任。雖然法案的起草者暗示該條款並不保護 AI 生成內容，但這一問題尚無定論。

Character AI 的律師還表示，Garcia 真正的意圖是希望 “關閉” 該平臺並推動對類似技術的立法。如果訴訟成功，將對 Character AI 及整個新興的生成 AI 行業產生 “寒蟬效應”。

當前，Character AI 正面臨多起訴訟，主要集中在未成年人如何與其平臺上生成的內容互動，包括一宗案件中聲稱該平臺向9歲兒童展示了 “超性別化內容”，以及另一宗指控其促使17歲用戶自殘。

德克薩斯州檢察長 Ken Paxton 也宣佈對 Character AI 及其他14家科技公司展開調查，指控其違反州法律以保護兒童的在線隱私與安全。Character AI 是快速發展的 AI 陪伴應用行業的一部分，這一領域的心理健康影響尚未得到充分研究。

儘管面臨各種挑戰，Character AI 仍在不斷推出新安全工具，並採取措施保護未成年用戶，例如推出單獨的青少年 AI 模型和對敏感內容的限制。