Zoom正準備爲用戶帶來一項令人驚歎的新功能，但我們可能要等到明年才能一睹其真容。這家視頻會議巨頭在其年度開發者大會上宣佈，他們將推出一項能夠將用戶視頻轉化爲AI驅動的逼真數字化身的功能。

這個數字化身不僅包括頭部，還有上臂和肩膀，堪稱"數字分身"。用戶只需輸入想要數字化身說的內容，Zoom就能生成與頭像脣形同步的音頻。聽起來很神奇，對吧?

Zoom的首席產品官Smita Hashim表示，這項功能旨在幫助人們以"更快、更高效"的方式與同事進行"異步"交流。她強調，這種頭像可以爲用戶節省寶貴的時間和精力，同時提高視頻創作的效率。

然而，這項技術的出現也引發了一些擔憂。我們不得不思考，這是否會帶來深度僞造（deepfake）的風險?

事實上，已經有不少公司開發出了類似的AI技術，可以數字化"克隆"一個人的面部，並配以相當自然的合成語音。比如Tavus幫助品牌爲個性化視頻廣告創建虛擬角色，而微軟去年也推出了一項可以生成令人信服的數字替身的服務。

但這些工具通常都實施了嚴格的保護措施來防止濫用。Tavus要求口頭同意聲明，微軟則要求其客戶獲得所有涉及頭像人才的書面許可和同意。

image.png

相比之下，Zoom對其安全措施的描述似乎有些模糊。Hashim表示，公司正在爲自定義頭像功能構建"多重保障"，包括"高級認證"和水印。她承諾將繼續審查並在未來根據需要添加安全措施。

Zoom的這一舉措與CEO袁徵的宏偉願景不謀而合。他希望未來能創造出可以代替你參加Zoom會議、回覆郵件甚至接聽電話的AI。

然而，這項技術的出現恰逢深度僞造在社交媒體上如野火般蔓延之際，使得區分真相和虛假信息變得越來越困難。今年以來，涉及美國總統拜登、泰勒·斯威夫特和副總統卡瑪拉·哈里斯的深度僞造視頻已經在網上獲得了數百萬的瀏覽量和轉發。最近，在颶風海倫襲擊後，大量虛假的AI生成圖像充斥網絡，展示了虛構的破壞和人類苦難場景。

深度僞造技術還被用來針對個人，比如冒充親人進行詐騙。根據美國聯邦貿易委員會的數據，去年與冒充詐騙相關的損失超過10億美元。

那麼，Zoom究竟如何防止騙子利用其工具生成惡意的虛假視頻呢?目前還不清楚。公司提供的模擬圖顯示，自定義頭像視頻的右上角有一個可見的水印。但這種水印很容易被屏幕錄製工具裁剪掉。

我們希望在2025年上半年Zoom計劃發佈這項功能時能瞭解更多細節。屆時，用戶每月需支付12美元的附加費用，才能在Zoom Clips（其異步視頻工具）中使用自定義頭像。

無論Zoom最終採取何種措施，監管努力正在進行，試圖遏制深度僞造的泛濫。在美國聯邦層面缺乏將深度僞造定爲犯罪的法律的情況下，已有超過10個州制定了針對AI輔助冒充的法規。加利福尼亞州的法律（目前已暫停）將是第一個賦予法官權力，命令深度僞造內容的發佈者刪除內容，否則可能面臨罰款的法律。

隨着Zoom推出這項新功能，我們不禁要問:技術的進步是否總能帶來積極的影響?在享受便利的同時，我們是否也在不經意間打開了潘多拉魔盒?這需要我們每個人深思。