近日,快手可靈團隊開源的人像視頻生成框架LivePortrait在人工智能領域引起轟動。這款創新工具僅需一張靜態圖像就能生成栩栩如生的動態視頻,展現了AI技術在視頻生成領域的巨大潛力。

LivePortrait一經發布便在開源社區引起廣泛關注。短短時間內,該項目在GitHub上已獲得7.5K星標,成爲當下最熱門的AI項目之一。不僅如此,它還吸引了HuggingFace首席戰略官Thomas Wolf的親身體驗,並在HuggingFace平臺的全部應用中位居趨勢榜首。

image.png

LivePortrait的核心優勢在於其驚人的表情"移花接木"能力。它不僅可以讓靜態圖像中的人物眨眼、微笑或轉頭,還能將一個人的表情和動態精確複製到另一個人身上,且不受風格限制,可適用於寫實、油畫、雕塑和3D渲染等多種風格。

這款工具的應用範圍極其廣泛。從單人肖像到全家福,從人物到寵物,LivePortrait都能實現生動的動態效果。更令人驚歎的是,它還能對視頻中的表情進行精確控制,如調整嘴角上揚的弧度或眼睛大小的變化,爲創作者提供了前所未有的表情控制能力。

在技術層面,LivePortrait採用了基於隱式關鍵點的創新框架,有別於當前主流的基於擴散模型的方法。它通過兩個階段的訓練過程,大幅提升了模型的泛化能力、表達能力和紋理質量。第一階段聚焦於框架改進,包括高質量數據整理、混合訓練、網絡架構升級等。第二階段則通過貼合模塊和重定向模塊的訓練,提高了面部表情細節的處理精度。

與現有方法相比,LivePortrait在生成質量和驅動精確度上表現出色,尤其是在捕捉細微表情和保持原圖紋理方面。雖然在某些方面略遜於基於擴散模型的方法,但LivePortrait的推理效率極高,在RTX4090GPU上每幀生成速度可達12.8毫秒,大大超越了現有的擴散模型方法。

LivePortrait的出現不僅展示了AI技術在視頻生成領域的最新進展,也爲創意產業帶來了新的可能性。隨着這類技術的不斷髮展,我們可以期待在不久的將來,更多令人驚歎的AI視頻生成應用將會涌現,爲內容創作者和普通用戶提供更豐富、更便捷的創作工具。

項目地址:https://top.aibase.com/tool/liveportrait

LivePortrait體驗地址:

https://huggingface.co/spaces/KwaiVGI/LivePortrait