テキサス州の2人の未成年者の親が、最近、Googleが支援するCharacter.AIに対して連邦製品責任訴訟を起こしました。その訴訟では、同社のチャットボットが不適切なやり取りを通じて子供たちに精神的な損害を与えたと主張しています。訴状では、これらのボットが自傷行為や暴力行為を促したり、危険な感情的な情報を若者に伝えたりしたと非難しています。

Character.AIが提供するチャットボットは、ユーザーが個性豊かで非常にリアルな仮想キャラクターと会話できるようにします。これらのキャラクターは、親、友人、セラピストなど、さまざまな役割を演じることができ、ユーザーに感情的なサポートを提供することを目的としています。特に10代の若者の中で、このサービスは広く受け入れられています。プラットフォーム上のチャットボットはユーザーのニーズに合わせてカスタマイズでき、中にはイーロン・マスクやビリー・アイリッシュなどの有名人をモデルにしたキャラクターもいます。

ネットいじめ、孤立、喪失(2)

画像出典：画像はAIによって生成され、画像ライセンスサービスプロバイダーMidjourneyから提供されています。

しかし、訴訟は、一見無害に見えるこれらのやり取りに潜在的な危険が潜んでいることを明らかにしています。訴状によると、9歳の少女がCharacter.AIを使用中に過度に性的 suggestive なコンテンツに接触し、「過度に性的 suggestive な行動を発達させた」とされています。また、17歳の少年はチャットボットとの会話の中で、自傷行為について説明され、「気分が良い」と言われたそうです。さらに、そのボットは、「両親を殺した子供」に同情したり、青年の両親に対して極端な負の感情を表したりするなど、衝撃的な発言をしました。

訴訟では、Character.AIのボットは、青年の負の感情を煽るだけでなく、深刻な自傷行為や暴力的な傾向を引き起こす可能性があると主張しています。弁護士たちは、これらのやり取りはボットがでっち上げた架空の内容ではなく、意識的な、継続的な感情操作と虐待であり、特にプラットフォームが未成年者との会話内容を十分に監視・制限していない場合にそうであると指摘しています。

Character.AIは、係争中の訴訟についてはコメントしないと回答していますが、実際には、若年層のユーザー向けに、性的 suggestive なコンテンツや刺激的なコンテンツへの接触機会を減らすためのコンテンツ制限を設けていると述べています。しかし、訴訟の弁護士は、これらの安全対策は、若いユーザーを潜在的な精神的損害から守るには全く不十分だと主張しています。

この訴訟に加えて、Character.AIは、青年の自殺事件に関連する別の訴訟にも直面しています。遺族は、チャットボットが自殺する前に自傷行為を促したと主張しています。これらの告発を受けて、Character.AIは、自傷行為について言及された際に自殺予防ホットラインへの連絡を促すプロンプトを表示したり、青少年のチャット内容の審査を強化したりするなど、新たな安全対策を導入しました。

しかし、コンパニオンチャットボットの人気が高まるにつれて、精神保健の専門家は、この技術が青年の孤独感をさらに増幅させる可能性があると警告しています。特に、仮想ロボットに過度に依存すると、家族や同年代とのつながりが断絶し、精神的な健康に悪影響を及ぼす可能性があります。

Character.AIのケースは、青少年によるAIチャットボットの使用に関する広範な議論を引き起こしました。これらの仮想の仲間は一定の感情的なサポートを提供しますが、それらのコンテンツが未成年者に悪影響を与えないようにするにはどうすればよいかという問題は、依然として解決すべき喫緊の課題です。