在創作引人入勝的視頻時,除了視覺效果,音頻同樣扮演着重要角色。然而,尋找或製作合適的音效往往是一項耗時的工作。

在 Adobe 的年度 MAX 大會上,他們展示了一款名爲 Project Super Sonic 的實驗性原型,這項技術可以通過文本生成音效、識別視頻中的物體,甚至利用你的聲音,快速爲視頻項目生成背景音效和音效。

image.png

雖然通過文本提示生成音效的功能聽起來很酷,但實際上,像 ElevenLabs 這樣的公司已經在商業上提供了類似的服務。更有趣的是,Adobe 將這個功能更進一步,增加了兩種創建音軌的方式。第一種是通過對象識別模型,用戶可以在視頻幀中點擊任意部分,系統會爲你生成相應的音效提示。這種將多個模型結合到一個工作流程中的方法十分智能。

最令人驚豔的是第三種模式,用戶可以錄下自己模仿的聲音(與視頻時間同步),然後 Project Super Sonic 會自動生成適合的音效。Adobe 的聲音設計 AI 負責人 Justin Salamon 表示,團隊最開始是從文本到音頻的模型入手,並強調他們在所有的 Adobe 生成 AI 項目中只使用獲得許可的數據。

“我們真正想要的是讓用戶掌控整個過程。這是一個爲創作者、聲音設計師以及想提升視頻聲音效果的用戶而設計的工具。”Salamon 解釋道,“因此,我們不僅僅滿足於文本到音效的初始工作流程,還致力於開發一種能夠提供精確控制的工具。”

在聲音控制方面,這個工具實際上會分析用戶聲音的不同特徵和聲音頻譜,以此來指導生成過程。Salamon 提到,雖然演示中使用的是人的聲音,用戶也可以用手拍或樂器來進行錄製。

需要注意的是,Adobe MAX 大會上總是會展示一些所謂的 “Sneaks”,這些項目如同 Project Super Sonic 一樣,都是 Adobe 正在研發的一些實驗性功能。雖然許多項目最終會融入 Adobe 的創意套件,但並沒有保證所有項目都能正式推出。我認爲 Project Super Sonic 有望進入實際生產,因爲同一個團隊還參與了 Adobe Firefly 生成 AI 模型的音頻部分,後者能夠延長短視頻的時長,包括其音頻軌道。但目前,Project Super Sonic 仍然只是一項演示。

劃重點:

🎤 Project Super Sonic 是一項利用 AI 技術,幫助用戶快速生成視頻音效的實驗性原型。  

🎶 用戶可通過文本、視頻物體識別及模仿聲音等方式生成音效,提升創作體驗。  

🎥 Adobe MAX 大會上展示的 Sneaks 項目中,Project Super Sonic 有望進入未來的創意套件。