還記得電影裏那些酷炫的特效嗎?物體憑空消失、場景瞬間變換，是不是讓你大呼過癮? 現在，谷歌DeepMind團隊研發出了一款名爲“Generative Omnimatte”的AI模型，讓這些特效不再是電影的專屬! 這款AI就像一位技藝高超的剪輯師，可以將視頻分解成多個圖層，每個圖層包含一個完整的物體及其產生的陰影、倒影等效果。

image.png

傳統的視頻摳圖技術通常依賴於綠幕拍攝或精確的深度信息，操作起來非常複雜。 而這款AI模型則完全擺脫了這些限制，它不需要任何額外的信息，就能將視頻中的人物、物體、背景完美分離，甚至可以“腦補”出被遮擋的部分，效果令人驚歎!

這款AI模型的核心是一個名爲“Casper”的視頻移除模型。 它就像一個神奇的橡皮擦，可以精準地擦除視頻中任何你指定的物體，連帶着它的陰影、倒影也一併消失，而背景卻完好無損。 

更重要的是，它還能根據用戶的需求，將物體與背景重新組合，實現各種創意效果，例如將人物從一個場景“瞬移”到另一個場景，或者改變物體的運動速度，甚至讓時間倒流!

有了這個神器，以後做視頻剪輯就太輕鬆了，想加什麼特效就加什麼特效，完全不用擔心技術問題，人人都能成爲剪輯大師! 比如你想把朋友從家裏“瞬移”到海邊，只需要用 Casper 把朋友摳出來，再放到海邊的背景上就搞定了，是不是很簡單? 你甚至可以讓朋友在視頻裏倒着走路，或者把朋友複製成好幾個，一起跳舞，想想就覺得很有意思!

當然，Generative Omnimatte 現在還處於研發階段，還有一些小 bug 需要解決。 比如，如果視頻裏有多個很相似的物體，AI 就可能會分不清誰是誰，把它們搞混。 另外，如果物體發生了形變，比如一根被壓彎的杆子，AI 就不知道該怎麼處理了。 不過相信谷歌 DeepMind 團隊很快就能解決這些問題，讓 Generative Omnimatte 變得更加完美!

項目地址：https://gen-omnimatte.github.io/

論文地址：https://arxiv.org/pdf/2411.16683