近期,中央網信辦組織開展“清朗·整治 AI 應用亂象”專項行動第二階段工作,聚焦利用 AI 製作發佈虛假信息、傳播暴力低俗內容、假冒仿冒他人、侵害未成年人權益等突出問題,部署各地網信部門深入推進重點整治任務。

截至目前,專項行動累計清理違法違規信息 561 萬餘條,查處賬號 4.9 萬餘個,處置違規網站、應用程序等 2400 餘個。

平臺與廠商同步收緊內容治理

網站平臺在此期間持續健全 AI 內容常態化治理機制。抖音、快手、微博、騰訊、百度、嗶哩嗶哩、小紅書、知乎、豆瓣、淘寶等平臺優化多模態識別模型,動態擴充人臉庫、聲紋庫和違規樣本庫,上線人臉實時治理系統等措施,累計發佈各類治理公告 46 期。豆包、元寶、千問、文心一言等平臺嚴把原始語料審覈關,嚴格限制違規內容輸出,並強化 AI 生成合成內容標識要求落地。華爲、小米、OPPO、vivo 等應用商店則制定了更嚴格的開發者准入規範和上架要求,對在架 APP 進行抽檢覆測。

七類典型案例被通報

專項行動期間共通報七類典型案例。一是濫用 AI“魔改”《三國演義》《西遊記》等經典名著,顛覆重要人物人設、虛構低質獵奇劇情博取流量的“數字泔水”內容,涉及微博、抖音、快手、微信多個賬號。二是利用 AI 生成虛假災害現場、救援畫面,編造不實社會熱點、發佈封建迷信內容,或用 AI 數字人虛假宣傳帶貨誤導老年人。三是利用 AI“換臉”“換聲”假冒仿冒公衆人物,生成低俗舞蹈、擁抱接吻等圖片視頻藉機牟利。四是批量發佈含恐怖詭異、暴力低俗畫面的 AI 生成內容。五是發佈 AI 生成的未成年人懷孕、打架等不符年齡特徵內容,批量製作傳播“毒動畫”、兒童“虐向”“邪典”視頻。六是爲 AI“託管”軟件引流,模擬真人運營賬號、評論互動,生成大量低質同質文案從事網絡水軍活動。七是部分網站平臺的智能體封面、簡介和生成對話中含有淫穢色情及危害未成年人身心健康的信息。

上述相關賬號均已被依法依約處置;對拒不改正的網站平臺,將按程序採取警告、罰款、下架或關閉等措施。網信部門表示,下一步將繼續密切關注 AI 生成合成內容的新情況新風險,及時採取有效措施防範 AI 技術濫用惡用。