人工智能技術公司 Sync Labs 近日通過 Twitter 宣佈推出其最新產品 Lipsync-2,這款模型被譽爲“全球首個零-shot嘴型同步模型”,無需額外訓練或微調即可保留演講者的獨特風格。這一突破性技術在真實感、表現力、控制力、質量和速度方面均實現了顯著提升,適用於真人視頻、動畫以及AI生成的內容。

QQ_1744092971287.png

Lipsync-2的創新特性

根據 Sync Labs 在4月1日發佈的 Twitter 消息,Lipsync-2的核心亮點在於其“零-shot”能力,即無需針對特定演講者進行預訓練,模型便可即時學習並生成符合其獨特說話風格的嘴型同步效果。這一特性顛覆了傳統嘴型同步技術對大量訓練數據的需求,使得內容創作者能夠更高效地應用該技術。

此外,Sync Labs 還透露,Lipsync-2在多個維度上實現了技術飛躍。無論是真人視頻、動畫角色,還是AI生成的人物,Lipsync-2都能提供更高的真實感和表現力。

新增控制功能:溫度參數

除了零-shot能力,Lipsync-2引入了一項名爲“溫度”(temperature)的控制功能。這一參數允許用戶調節嘴型同步的表現程度,從簡潔自然的同步效果到更具誇張表現力的生成效果,滿足不同場景的需求。目前,這一功能處於私人測試階段,僅逐步向付費用戶開放。

應用前景:多語言教育與內容創作

Sync Labs 在4月3日的 Twitter 帖子中進一步展示了 Lipsync-2的潛在應用場景,稱其“在準確性、風格和表現力上表現出色”,並提出“讓每場講座都能以每種語言呈現”的願景。這一技術不僅可用於視頻翻譯和字級編輯,還能助力角色重新動畫化,甚至支持逼真的AI用戶生成內容(UGC),爲教育、娛樂和營銷領域帶來革命性變化。

行業反響與未來期待

Lipsync-2的發佈迅速引發了行業關注。Sync Labs 表示,該模型已在 fal 平臺上開放體驗,用戶可通過訪問 fal 的模型庫一探究竟。自4月1日宣佈以來,Twitter 上關於 Lipsync-2的討論持續升溫,許多用戶對其跨領域應用的潛力表示期待。

作爲人工智能視頻技術的先鋒企業,Sync Labs 通過 Lipsync-2再次證明了其在創新領域的領導地位。隨着該技術的逐步推廣,內容創作的門檻或將進一步降低,而觀衆也將享受到更加自然、沉浸式的視聽體驗。