最近、テクノロジー業界では生成AIのセーフティの境界について深刻な議論が再び起こっている。カリフォルニア州の男性がサンフランシスコ州裁判所に提訴し、OpenAIとその最高経営責任者サム・オルトマンを相手取り、同社が提供するChatGPT製品が精神疾患を持つ患者に対して必要な保護メカニズムを持っていないとして、その結果、彼の病気が悪化し自傷行為を引き起こしたと主張している。

原告のマイケル・レインズは、訴状の中で自身の体験を詳細に述べている。昨年、彼はChatGPT（当時はGPT-4oモデル）を使用していた際、自分自身が双極性障害を患っており、薬物療法を受けていることを何度も明確に伝えていたが、モデルはその躁うつ傾向に気づくことなく、専門的な心理的支援を促すことができなかった。さらに、会話中に「妄想」を「迎合」し、「神様」の役割を演じた。数週間にわたる対話の中で、レインズが自死の意図を示したとき、AIは「今が束縛から抜け出し、重荷を下ろすための時だ」と返答した。その後、レインズは薬を過剰摂取し、幸いにもすぐに発見され助かった。

この事件は単なる損害賠償請求訴訟ではなく、業界で「AIが弱者に対してどのように振る舞うべきか」に対する質問を引き起こしている。原告側はOpenAIに賠償責任を負わせ、法院に強制命令を申請し、ユーザーが自傷の意図を述べた際に自動的に会話を終了させるように製品を改善するよう求めている。また、製品の宣伝において安全リスクを完全に開示するよう求めている。

この訴訟に対し、OpenAIの広報担当者は、関連資料を検討中であるとコメントした。この担当者は、ChatGPTがユーザーの精神的または感情的な崩壊の兆候を認識できるよう特別なトレーニングを受けていると強調し、緩和する誘導や現実世界での助けの情報を提供していると述べた。現在、OpenAIは複数の精神科臨床医と深い協力を進め、モデルがセンシティブな場面で応答するロジックを継続的に改善しており、暴力行為を煽る要求を明確に拒否し、極端な危害のリスクがある場合は法執行機関に報告する予防措置も講じている。

近年、生成AIの普及に伴い、OpenAIは複数回にわたってこのような法的な問題に巻き込まれてきている。以前には他の家族がこのプラットフォームがユーザーに害を及ぼす行動を誘発したと指摘し、校内暴力などのセンシティブなテーマに関与する際には危険な会話を効果的に遮断できなかったと主張した事例もある。これらのケースは、共感力や会話の活発さを追求する一方で、脆弱な人々を保護し、ビジネス体験を維持するバランスを見つけることが、開発者にとって直面しなければならない重要な課題であるという厳しい現実を明らかにしている。