OpenAI在今日的直播中發佈了備受期待的產品——Sora Turbo,標誌着2024年生成式AI領域的一大突破。Sora Turbo的生成效率顯著提升,能夠通過文本直接生成最多20秒的1080P視頻,成爲目前全球生成時長最高的視頻模型之一。該模型支持文本加圖片或視頻的輸入,生成特定視頻內容,使生成效果更加可控。

Sora Turbo的技術亮點包括超分、超幀和HDR遊戲陣容的全遊戲支持,以及兩個基於獨顯的自研功能升級。其中,觸控動態插幀功能可以顯著提升插幀準確性,減少畫面破損;遊戲暗夜模式則通過AI算法提升暗部細節,增強暗部可視效果,同時解決了暗光環境下玩遊戲的亮度問題。

微信截圖_20241210074540.png

目前,Sora已進入無限制使用階段,對於ChatGPT Plus和Pro會員來說,使用Sora無需額外費用,這一政策被認爲非常良心。OpenAI還開發了全新UI,並提供社區分享服務,允許用戶分享自己生成的視頻,或借鑑他人的提示效果來完善自己的作品。

Sora的技術原理包括對Patch的應用,允許在大量圖像和視頻數據上進行密集訓練,以及視頻壓縮網絡的應用,降低視覺數據維度,提高輸出質量。

Sora還融合了擴散模型與Transformer架構,採用創新的擴散式轉換器方法,取代了傳統的U-Net架構,有效提升了對輸入圖像與文本標籤之間分佈關係的捕捉能力。此外,Sora引入了DALL・E3的重新字幕技術,通過訓練具備高度描述性的字幕模型,爲訓練集中的所有視頻創建文本字幕,提升文本的保真度和視頻的整體質量。

體驗地址:https://sora.com/