最近 Adobe 宣佈了一款全新的創作工具 ——Adobe Firefly Video Model。這一新工具是 Adobe 在 AI 視頻生成領域的一次大膽嘗試，建立在其現有的 Firefly 生成性 AI 圖像模型之上。

image.png

Adobe 表示，這款模型是經過倫理培訓的，使用的數據都是公司擁有或擁有使用許可的，這樣確保了生成內容的安全性。

不過，有一些 Adobe Stock 的創作者對此表示異議，他們認爲自己上傳作品時並未想象會被用來訓練 AI 模型，甚至與他們的風格相競爭。

Adobe Firefly Video Model預計在今年晚些時候進入測試階段，目前公司已經開設了一個提前訪問的等候名單，感興趣的朋友可以申請。

在功能上，它不僅支持文本生成視頻、圖像轉視頻，還具備視頻編輯的功能，但每次生成的片段最長限制爲5秒。

高質量視頻生成示例

Adobe 的官方博客上已經展示了一些早期生成的精彩視頻例子，內容質量相當驚人，且對文本提示的遵循度非常高。

其中藉助 Firefly 文本到視頻，可以使用文本提示、各種攝像機控件和參考圖像來生成無縫填充時間軸空白的 B-Roll。

image.png

例如，輸入 “在雪林中的馴鹿特寫，日落時分，光線夢幻柔和”大致場景，生成的視頻效果就相當出色。

具體提示詞：“Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.”

再比如，輸入 “慢動作火山噴發，鏡頭飛越熔岩”相關場景，結果也是引人入勝。

具體提示詞：“Slow-motion fiery volcanic landscape， with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic， dramatic， and high-contrast.”

根據官方介紹，Firefly Video Model 擅長生成自然世界的視頻。當製作人員錯過了設置場景所需的關鍵建立鏡頭時，生成帶有攝像機運動的插入，如風景、植物或動物。

提示詞：Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.

此外，如果需要更多補充鏡頭，可以使用基於參考幀生成的剪輯填充時間軸中的空白。

比如原視頻是這樣的：

可以藉助Firefly Video Model 生成補充視頻：

提示詞： Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass

另外，也可以利用豐富的攝像機控件（如角度、運動和縮放）在生成的視頻上創建完美的視角。

image.png

比如生成無人機視角，提示詞：Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed， with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.

對於企業決策者來說，Adobe 的 Firefly 視頻模型可能是一個相當有吸引力的選擇，尤其是想爲員工培訓或市場營銷製作視頻的公司。

Adobe 還爲用戶提供了法律保障，即使在使用其 AI 模型時遇到侵權訴訟，Adobe 也會提供保護，儘管目前還未明確說明 Firefly 視頻是否包含在內。

自2023年3月推出 Adobe Firefly 以來，Adobe 已將該模型作爲其廣泛使用的 Creative Cloud 軟件套件中新 AI 功能的基石。

Firefly 工具已經嵌入到 Photoshop、Illustrator 和 Lightroom 等流行應用程序中，賦予用戶 Generative Fill、Generative Remove 和 Text-to-Template 等功能。

根據 Adobe 的說法，自推出以來，已使用 Firefly 生成了超過120億張圖像和矢量圖，使其成爲公司最快速採納的創新之一。

領導該項目的 Adobe 執行官 Ashley Still 表示，公司“與視頻編輯社區密切合作，推進 Firefly Video Model。”

不僅支持AI 視頻生成

此外，Firefly 視頻模型不僅僅是生成新視頻，還具備去除不需要的元素、完美過渡等 AI 編輯功能。

隨着短視頻內容的興起以及製作時間的壓縮，Adobe 希望通過這些工具幫助編輯人員加快製作流程，同時保持高質量輸出。

Adobe 的 Firefly Video Model 通過提供工具幫助編輯人員不僅可以剪輯鏡頭，還可以管理色彩校正、動畫、視覺效果等，從而解決了這一問題。

該模型還支持廣泛的創意效果，包括上面提到的生成 b-roll、宏鏡頭和大氣元素（如火、煙或水），用戶可以將這些元素疊加在預先錄製的或動畫的鏡頭上。

今年晚些時候將出現在 Premiere Pro 中的一個突出功能是 Generative Extend。此功能將允許編輯人員延長視頻剪輯，填補鏡頭中的空白，或平滑過渡 —— 幫助將剪輯與音頻和其他視覺元素的節奏相匹配。

Adobe 通過展示 Generative Extend 如何能夠延長鏡頭的持續時間以完美對齊音樂高潮來展示這種能力:

編輯後，最終效果展示：

Adobe 也在不斷探索如何將 AI 集成到更多的創作工作流程中，希望這些新工具能夠幫助創作者有更多的時間去探索創意，從而提升項目的整體質量。

官方博客：https://blog.adobe.com/en/publish/2024/09/11/bringing-gen-ai-to-video-adobe-firefly-video-model-coming-soon

劃重點:

🌟 Adobe 推出的 Firefly 視頻模型支持文本到視頻、圖像到視頻以及視頻編輯功能，預計將於今年晚些時候進入測試階段。  

🎥 早期生成的視頻質量驚人，展示了對文本提示的高度遵循性，吸引了衆多創作者的關注。  

📈 Adobe 爲用戶提供法律保障，幫助企業在使用 AI 製作視頻時規避侵權風險。