在後期製作領域,Adobe 一直是個大佬。最近,他們在 Adobe MAX 大會上正式推出了令人驚歎的 Firefly AI 視頻功能。

這項技術讓視頻中的任何缺失部分都能通過簡單的拖拽來解決,效果堪比 Runway 和 Sora。更值得一提的是,Adobe Photoshop 也進行了全面升級,成爲史上最強版本。

QQ20241015-093122.png

Premiere Pro推"生成擴展"功能

Premiere Pro推出的"生成擴展"(Generative Extend)功能堪稱本次更新的最大亮點。如果你需要在視頻的開頭、結尾,甚至時間軸中填補空缺,只需輕輕拖動和點擊,AI 就能迅速擴展,完美實現定時編輯。

即使是一些不太理想的鏡頭,AI 也能自動修正視線移動。比如,人物在鏡頭外面跑來跑去?AI 可以輕鬆調整畫面邊界,省時又省力。

它還允許用戶一鍵爲視頻片段智能續接額外的畫面和聲音,大大簡化了編輯流程,尤其在處理精細入微的時間點剪輯時更顯神通。

雖然目前視頻擴展僅限兩秒之內,但這已足以解決許多因小瑕疵而需重拍的煩惱。擴展後的視頻可選擇720p或1080p分辨率,以每秒24幀的流暢度呈現。

這項功能不僅能生成與原片完美契合的畫面,還能延伸音頻效果。點擊「room tone」按鈕,音效即可延長或平滑處理。

比如,它可以將環境音延長至10秒,爲作品增添更多細節和氛圍。不過值得注意的是,這項技術目前還不支持延伸對話或音樂內容。

生成式擴展功能將在今年晚些時候在 Premiere Pro 的 beta 版中上線。Adobe 表示會根據用戶反饋不斷更新,用戶甚至可以對生成的結果一鍵點贊或吐槽。

除了"生成擴展",Adobe Premiere Pro這次升級還包含了一系列基於AI的強大功能,全方位提升視頻編輯效率:

文生視頻功能

用戶只需通過簡單的提示,就能生成任何想要的視頻。無論是逼真的實景效果,還是炫酷的 3D 動畫,甚至定格動畫,AI 統統能搞定。

此外,對於已經生成的視頻,用戶還能通過「攝像機控制」功能進一步細化鏡頭的角度、運動效果等參數。

提示:街道中央雨中男子的電影級特寫肖像。光影氛圍沉鬱而富有戲劇性,色調以藍色和青色調爲主。男子形象極度寫實,皮膚紋理精細,臉上點綴着細密胡茬。細微的動作柔和流暢,鏡頭保持固定。畫面呈現濃重的膠片顆粒感和質感。水珠在男子臉上緩緩滑落,清晰可見。

用戶還可以通過 Firefly 生成出火焰、煙霧、光斑等特效元素,顯著提升了視頻的視覺深度。藉助 Adobe Premiere Pro 和 After Effects,用戶可以將這些元素與現有視頻進行疊加,創造出炫酷的效果。

圖生視頻功能

用戶通過上傳參考圖像和文本提示來生成視頻內容。這一功能不僅能夠基於單個圖像幀輕鬆創建補充鏡頭,如特寫,還能讓靜態照片動起來,生成新的B-roll素材,爲視頻製作者提供了極大的便利和創造力。

這項技術還能夠改變原始鏡頭中的動作和意圖,例如,如果剪輯師希望改變某個特定動作,可以使用這個功能來可視化這一改變,而無需重新拍攝。

原片:

生成:

Adobe Firefly模型提供了豐富的鏡頭控制選項,包括鏡頭遠近(特寫、中景、遠景等)、角度、相機運動,使用戶能夠更精確地生成所需的視頻內容。然而,這種專業特性也意味着用戶需要提供更詳細的文本提示(prompt),大家可以參考官方提供的提示模板。

文本生成和字幕功能

它能自動爲視頻生成準確的字幕和標註,讓文字編輯變得輕而易舉。其次,AI驅動的自動剪輯和場景檢測技術,能智能識別並編輯視頻中的場景切換,爲創作者節省大量時間。

image.png

自動調整視頻比例

針對當今多平臺發佈的需求,Adobe還推出了自動重構和適應功能。AI能根據不同社交媒體平臺的規格,自動調整視頻比例,確保作品在各個平臺上都能完美呈現。

image.png

自動調色

在畫面質量方面,新版本引入了顏色匹配和調整功能,能自動進行色彩協調,保證整個視頻的視覺一致性。音頻方面也有重大突破,新的音頻增強技術能顯著提升對話和聲音的清晰度,讓觀衆獲得更佳的聽覺體驗。

image.png

智能選擇與替換功能允許創作者通過AI快速替換或增強視頻中的特定元素,爲創意表達提供了更多可能性。

Photoshop全新AI功能

Adobe還在Photoshop中引入了一系列創新的AI功能,這些功能旨在簡化用戶的工作流程,同時提高圖像編輯的質量和效率。

這些新功能包括:

“干擾移除”功能

類似於谷歌Pixel手機上的Magic Eraser,允許用戶通過簡單的手勢快速去除圖片中不需要的對象。這一功能能夠自動識別並移除常見的干擾物,如行人、線纜等,大大減少了手動選取和刪除的繁瑣步驟。

“生成填充”功能

生成填充功能得到了顯著提升,它可以根據用戶的文本指令填充圖像,生成的結果更加逼真和自然。

“生成擴展”功能

允許用戶在原始圖像的邊界之外擴展畫面,爲創意表達提供了更多的空間。

image.png

“生成相似”和“生成背景”功能

使用戶能夠快速生成圖像變體和替換背景內容,這些功能都極大地豐富了用戶的創意選項,並提高了工作效率。

Adobe特別強調了其“以創作者爲中心”的AI使用方式,確保尊重和支持創作者的工作。公司承諾所有AI模型的訓練都只在授權內容上進行,並且不會使用用戶的個人數據。

爲了增加透明度,Adobe還爲AI生成的內容提供了“內容憑證”,幫助用戶瞭解創作的來源和過程,確保了內容的可追溯性和版權的清晰。

這些新AI功能目前已經在Photoshop、Photoshop Beta以及Photoshop網頁版本中上線,用戶可以立即體驗這些強大的新工具。而對於想要體驗Firefly視頻模型的用戶,可以加入等待名單,以便在功能發佈時獲得第一時間的體驗機會。

詳情:https://www.adobe.com/products/premiere/ai-video-editing.html