近日,主流生成式AI工具的安全邊界再次引發關注。據科技媒體報道,原本用於創意生產的Google Gemini以及OpenAI的ChatGPT正被部分用戶惡意利用,通過特定的提示詞繞過安全審查,將照片中穿着完整的女性改造成穿着暴露的“深僞(Deepfake)”圖像。

在Reddit等社交平臺上,一些技術論壇(如已被封禁的r/ChatGPTJailbreak)曾聚集了大量用戶分享“脫 衣”教程。報道指出,有用戶上傳了一張身着印度傳統服飾薩麗的女性照片,並請求他人將其衣物“更換”爲比基尼,隨後迅速得到了其他用戶生成的虛假圖片響應。儘管Reddit在收到投訴後清理了相關內容並封禁了擁有20萬成員的違規子版塊,但這種針對女性的非自願深僞內容依然在網絡暗處流傳。

針對這一現象,Google與OpenAI均作出了迴應。Google發言人強調,公司擁有明確的政策禁止生成性顯性內容,並正持續改進AI模型以識別和攔截此類違規請求。OpenAI方面則表示,雖然今年放寬了部分關於非性化成人身體圖像的限制,但嚴禁在未經本人同意的情況下篡改他人肖像,並會對違規賬號採取封禁措施。

然而,隨着AI技術的迭代,如Google新推出的Nano Banana Pro和OpenAI更新的圖像模型在寫實度上有了質的飛躍。法律專家對此深表擔憂,認爲這些工具在提升生產力的同時,也降低了製造惡意虛假信息的門檻。目前,如何在技術創新與倫理安全之間建立更堅固的防火牆,已成爲這些AI巨頭亟待解決的挑戰。