近日,媒體分析公司 Newsguard 發佈的一項研究揭露了當前人工智能領域的一個尷尬現狀:儘管 AI 視頻生成技術日新月異,但主流 AI 聊天機器人卻幾乎無法識別這些“深度僞造”內容,甚至連開發者自家的工具也難以倖免。

研究顯示,在面對由 OpenAI 視頻生成模型Sora製作的虛假視頻時,OpenAI 旗下的ChatGPT表現令人失望,其識別錯誤率竟然高達 92.5%。這意味着,對於大多數由 Sora 生成的視頻,ChatGPT 都會將其誤認爲真實記錄。其他巨頭同樣表現不佳,xAI 的 Grok 錯誤率更是高達 95%,表現相對較好的是 Google 的 Gemini,但錯誤率依然維持在 78%。

更令人擔憂的是,現有的技術防護手段正形同虛設。雖然Sora會在生成的視頻中添加可見水印和不可見的元數據,但研究發現,這些標記可以輕易通過免費工具或簡單的“另存爲”操作被抹除。一旦水印消失,聊天機器人不僅無法識別造假,有時甚至會“一本正經地胡說八道”,引用虛構的新聞來源來證明虛假視頻的真實性。

針對這一問題,OpenAI 方面坦言,ChatGPT目前確實不具備判斷內容是否由 AI 生成的能力。由於頂級 AI 視頻工具已經能拍出肉眼難辨的素材,而反制手段又滯後於技術發展,這無疑爲虛假信息的傳播埋下了巨大隱患。