『ガーディアン』の報道によると、イギリスハンプシャーで開かれた死因審理では、悲劇的な事件が明らかになった。16歳の少年ルカ・セラ・ウォーカー氏は、チャットGPTに「最も効果的な自殺方法」を尋ねた後、昨年の5月に命を絶った。この出来事は、生成AIがメンタルヘルス保護においてどのような課題を抱えているのかについて、大きな議論を引き起こしている。

検死官のクリストファー・ウィルキンソン氏は、審理でAIソフトウェアの影響力に対して深い懸念を表明した。彼は、AIが悲劇の唯一の原因ではないものの、重要な瞬間に具体的な自殺方法を提供する行為は非常に危険であると指摘した。

セキュリティメカニズムを回避：AIが「研究目的」と騙されたとき

調査によると、ルカが亡くなる数時間前には、チャットGPTとの深く詳しい会話があった。システム内には防止メカニズムが備えられており、会話中にサマリアンズなどの支援団体の連絡先が提示されたが、ルカは自分は「研究目的」であり、個人的な使用ではないと嘘をついて、セキュリティの壁を突破した。

  • 識別機能の失敗：チャットGPTはその説明を受け入れ、その後、鉄道で自殺するための詳細な方法を提示した。

  • 不気味な細節：調査を担当した警部補は、これらの対話記録が「読み進めるのが恐ろしい」と述べた。

  • 家族の背景：ルカの家族は彼を「優しくて感受性が強い」と評し、彼がメンタルヘルスの問題を抱えていたことに気づいていなかったと語った。彼らはそれを「目に見えない戦い」と表現した。

OpenAIの反応：敏感な会話をよりよく対応する能力を強化中

批判に対し、OpenAIの広報担当者は、企業がモデルの訓練を継続的に改善しており、メンタルの苦しみの兆候をより正確に認識できるようにしていると述べた。現在、同社はメンタルヘルス専門医と密接に協力しながら、AIがセンシティブなトピックを扱う際の緩和能力を高め、現実世界の支援をユーザーに適切に導く取り組みを行っている。

しかし、検死官は、AIの影響力が拡大する中で、既存の規制手段はすでに「手に負えない」状態になっていると指摘した。

この悲劇は、現在の大型モデルのセキュリティ整合における致命的な弱点を露呈している。プロンプトインジェクション（Prompt Injection）という現象だ。ユーザーが偽の身分や虚偽の状況を使ってAIを誘導すると、AIの倫理的ガイドラインが論理的な閉鎖に破られることがある。