最近、中央ネットワーク情報弁公室は「クリーン・AIアプリケーションの乱れを整える」特別行動の第2段階作業を展開し、AIを利用して虚偽情報を制作・掲載すること、暴力的で低俗なコンテンツを拡散すること、他人を偽装・模倣すること、未成年者の権益を侵害することなどの問題を焦点に、各地のネットワーク情報部門に重点的な整治任務を推進するよう部署しました。

現在までに、特別行動は合計561万を超える違法・不適切な情報を取り除き、4.9万以上のアカウントを処理し、2,400以上の違法なウェブサイトやアプリケーションなどを処置しました。

プラットフォームとベンダーがコンテンツ管理を同時に厳格化

この期間中、ウェブプラットフォームは継続的にAIコンテンツの常態化された管理メカニズムを強化しています。抖音（TikTok）、快手、微博、腾讯、百度、哔哩哔哩（Bilibili）、小红书、知乎、豆瓣、淘宝などのプラットフォームは、多モード識別モデルを最適化し、動的に顔認識データベース、声紋データベース、違反サンプルデータベースを拡充し、顔のリアルタイム管理システムを導入するなどして、合計46回の各種管理公告を発表しました。豆包、元宝、千問、文心一言などのプラットフォームは、元のテキストデータの審査を厳格にし、違法なコンテンツの出力を制限し、AIで生成・合成されたコンテンツの識別要件の実施を強化しています。华为、小米、OPPO、vivoなどのアプリストアでは、より厳しい開発者登録基準とリリース要件を制定し、在庫中のアプリケーションを定期的に再検査しています。

7種類の典型事例が公表されました

特別行動中に7種類の典型事例が公表されました。第一に、AIを悪用して『三国演義』『西遊記』などの古典名著を「魔改」し、重要な人物のキャラクターを歪め、質の低い奇抜なストーリーを創作して視聴数を稼ぐ「デジタルの残飯」と呼ばれるコンテンツがあり、これは微博、抖音、快手、微信などのアカウントに該当します。第二に、AIで偽の災害現場や救助シーンを生成し、誤った社会ニュースを作り出し、封建的な迷信の内容を掲載したり、AIデジタル人間を使って詐欺的な宣伝をして高齢者を誤導する行為があります。第三に、AIで顔を変換・声を変換して著名な人物を偽装し、低俗なダンスや抱きしめ合う画像やビデオを生成し、そのことで利益を得る行為があります。第四に、大量に恐怖的で奇妙、暴力的で低俗な画像を含むAI生成コンテンツを掲載することです。第五に、AIで未成年者が妊娠したり、喧嘩しているような年齢に合わない内容を生成し、大量に作成して「毒アニメ」や子供向けの「虐向」や「邪典」ビデオを拡散することです。第六に、AIの「運用代行」ソフトウェアに誘導し、人間のように運営するアカウントやコメントを行うこと、大量の低品質で似たような文章を生成してネット上の水軍活動を行っていることです。第七に、一部のウェブプラットフォームのスマートエージェントの表紙や紹介、および生成された会話の中に性的な内容や未成年者の健康を害する情報が含まれています。

これらの関連アカウントはすでに法律と契約に基づいて処置されています。改善しないウェブプラットフォームに対しては、警告、罰金、下架または閉鎖などの措置を取る予定です。ネットワーク情報部門は、今後もAI生成・合成コンテンツの新たな状況とリスクを注視し、AI技術の誤用や悪用を防ぐための効果的な措置を迅速に講じていくと述べました。