新壹科技近期發佈了其最新技術成果——新壹視頻大模型2.0,標誌着公司在AI視頻創作領域的技術飛躍和對創作自由度的深度拓展。該技術集成了先進的AI算法和深度學習技術,能夠實現從劇本構思到視頻成片的全流程自動化創作,極大降低了視頻創作的門檻和成本。

微信截圖_20240821082525.png

新壹視頻大模型2.0具備一鍵觸發的便捷性,用戶只需輸入創意,即可自動生成劇本、分鏡圖、角色對話和背景音樂,同時提供3D元素和場景的生成以及高清視頻的自動轉換。技術的創新之處在於其自研劇本模型、基於Diffusion Transformer技術的混合專家架構、情感化語音合成技術,以及自動背景音樂生成能力。

· 基於Diffusion Transformer技術的Mixed-of-Experts混合專家架構,能夠生成高密度的分鏡信息,可以將劇本內容轉化爲具體的分鏡圖,包括每個場景的佈局、角色位置、鏡頭角度等。

· 新壹視頻大模型2.0利用情感化語音合成技術爲角色賦予自然的語調和情感表達,讓對話更真實。根據視頻內容自動生成背景音樂(BGM),使畫面與音樂完美融合。

· 新壹視頻大模型2.0可以生成多樣化的3D元素和場景,從自然景觀到未來都市,從靜態物體到動態角色,並提供了實時的3D場景交互能力。同時可以實現3D與視頻的混合創作,解決傳統AI視頻生成中常見的問題,如人物形象的一致性或者動作的連貫性等現象。

· 新壹視頻大模型2.0可以自動將分鏡轉換爲連續的高清視頻,支持1080P60幀輸出,最高可支持4K,確保流暢的觀看體驗。

體驗地址:https://aigc.yizhentv.com/product/aiVideo