技術の境界と法的責任を巡る裁判が、AIの倫理的な赤線を公衆の注目を集めている。国内で初めてAIサービスが風俗的な内容にかかわって刑事責任を問われた事件が控えている。2025年9月、上海市徐匯区人民法院は、AlienChatアプリの主要な開発者および運営者2人を「児童ポルノ等の製造・販売による利益を得る罪」で有罪判決を下し、それぞれ4年と1年6か月の実刑を言い渡した。被告人たちは判決に不服を申し立て、この事件は2026年1月14日に上海市第一中級人民法院で再審理される。

「恋人」から「罠」へ：AIキャラクター設定に隠された違法なコンテンツ

公開情報によると、AlienChatアプリは「自律的な意識を持つAIの友人、恋人、家族を創造する」というキャッチコピーで宣伝していた。高次元の擬人化と感情的な対話体験を特徴としていたが、裁判所が調査したところ、このプラットフォームは単なる中立的なAIチャットサービスではなかった。その核心的な問題は、開発者がシステムプロンプト（Prompt）を丁寧に編集し、繰り返し修正することで、大規模言語モデルに内蔵されている倫理的および安全上のフィルターを意図的に回避し、AIが性的低俗なコンテンツを継続的に生成するように仕向け、ユーザーを引きつけることで収益を上げていたことである。

image.png

数字の裏にある：11万人のユーザーと363万元の支払い

判決書によると、事件発覚時点までにAlienChatは累計11万6,000人の登録ユーザーを保有しており、そのうち2万4,000人が課金会員であり、会員費を通じて得た違法収入は合計363万円以上だった。このビジネスモデルにより、司法機関はその行為を「不正な情報を制作し広める目的で利益を得る」として定義し、単なる技術の中立性や利用者の誤用とは異なるものとした。

線引き：AIは法の外ではない

この事件の核心的な論点は、AIサービス提供者がモデルが出力する内容に対して直接的な責任を負うべきかどうかである。一審判決は明確に述べており、開発者がモデルのセキュリティメカニズムを意図的に操作し、違法な情報を安定して出力するツールとして利用した場合、その行為は犯罪とみなされる。これはAI業界全体に警告を送るものであり、技術の革新は合法的かつ規制遵守の基礎の上に成り立つべきであり、AIの「ブラックボックス」特性を利用して規制を回避しようとする行為は、法的な厳罰を受けることになる。