近日,快手正式發佈了視頻版本的 ControlNet 模型,並將其命名爲 “CineMaster3D 感知文本到視頻生成框架”。這一突破性技術的發佈,無疑將爲視頻創作領域帶來革命性的變革,讓用戶能夠以前所未有的精度和自由度操控視頻內容。

ControlNet 技術的核心優勢在於其強大的可控性,它允許用戶通過額外的控制信號引導AI生成的內容,從而實現更精準、更符合用戶意圖的創作。快手此次發佈的 CineMaster 框架,正是將 ControlNet 的這一優勢拓展到了視頻領域。

CineMaster 框架最令人矚目的亮點在於其對物體位置和相機運動的精確控制能力。用戶可以通過輸入深度圖、相機軌跡和物體標籤等控制信號,精細地調整視頻中元素的位置、運動軌跡以及整體的鏡頭語言。這意味着,創作者不再需要完全依賴AI的“自由發揮”,而是可以像“神筆馬良”一樣,精確地描繪出腦海中的視頻畫面。

更令人驚喜的是,快手還同步推出了一套從大規模視頻中提取3D 邊界框和相機軌跡的流程。這項技術意味着,用戶不僅可以從零開始創作可控視頻,還可以對現有視頻進行二次創作,提取視頻中的3D 信息並加以利用,實現風格遷移、場景替換等高級編輯效果,進一步擴展了視頻創作的可能性。

CineMaster 的發佈,預示着視頻內容創作正在邁向一個全新的智能化時代。它降低了專業視頻製作的技術門檻,讓更廣泛的用戶羣體能夠輕鬆創作出高質量、個性化的視頻內容。無論是專業創作者還是普通用戶,都將從中受益,享受到技術進步帶來的創作紅利。 快手此舉無疑將進一步鞏固其在短視頻和AI技術領域的領先地位,並推動整個行業的技術創新和內容生態繁榮發展。

項目地址:https://cinemaster-dev.github.io/