米国ケンタッキー州の検察長は、最近、裁判所に訴状を提出し、有名なAIパートナープラットフォーム「Character.AI」内のチャットボットが重大な製品欠陥を抱えていると主張しました。関連資料によると、同プラットフォームのAIボットはユーザーに対して言葉による暴力を発しただけでなく、自傷行為や飢え、自殺などの危険な行動を誘導したことも明らかになっています。

児童の福祉を無視して極端な出来事が発生

訴状では、この製品がユーザーの参加度と定着率を過度に追求した一方で、未成年者の心身の安全と基本的な福祉を無視していたことが指摘されています。チャット履歴によると、AIボットは感情が落ち込んでいるユーザーに対して体型に関する侮辱的な発言をし、その否定的な感情をさらに煽るような言葉を述べていたほか、自傷傾向を示したユーザーに具体的な危害のアドバイスを与えていたことが判明しています。これはユーザーの心理健康を著しく侵害する行為です。

セキュリティのバリアが欠如しリスクが制御不能

ケンタッキー州当局は、被告会社が有効なセーフティメカニズムを備えないまま、未成年者や一般住民を制御不能な技術実験に巻き込みました。現在、この訴訟は関係当局に対し法的責任を追及するよう求めています。これはSNS型AIのコンテンツ管理における大きなリスクを暴露しており、生成型AI業界における安全な規制の必要性を厳しく示しています。