讓大象轉身！谷歌黑科技 ReCapture：可一鍵生成“多機位”視頻大片

谷歌研究院最近推出了一項名爲ReCapture的全新技術，這項技術可以讓你從全新的視角重新體驗你自己的視頻。ReCapture技術可以根據用戶提供的視頻，生成一個帶有自定義攝像機軌跡的新版本，這意味着你可以從原本視頻中沒有的視角觀看視頻內容，並且還能保持視頻中人物和場景的原始運動。

ReCapture 就像是一位神奇的剪輯師，可以根據你提供的視頻，生成一個帶有全新視角的新版本。 比如說，你用手機拍了一段狗狗玩耍的視頻，ReCapture 可以幫你生成一段從狗狗視角拍攝的視頻，是不是很神奇？

那麼， ReCapture 究竟是如何實現這種“魔法”的呢? 其實，它背後的原理並不複雜。它首先會利用多視角擴散模型或點雲渲染技術，根據你想要的新視角，生成一個粗略的視頻。 這個粗略視頻就像是一塊未經雕琢的璞玉，畫面可能不完整，時間也不連貫，就像喝醉了酒一樣搖搖晃晃。

接下來，ReCapture 會祭出它的祕密武器——“遮罩視頻微調”技術，對這個粗略視頻進行“精雕細琢”。 這個技術就像是一位技藝高超的工匠，會用兩種特殊的工具——空間 LoRA 和時間 LoRA，對視頻進行修復和優化。 空間 LoRA 就像是一位“美容師”，負責學習原始視頻中的人物和場景信息，讓畫面更加清晰美觀。 而時間 LoRA 則是一位“節奏大師”，負責學習新視角下的場景運動，讓視頻播放更加流暢自然。

經過這兩位“大師”的聯手打造，粗略視頻搖身一變，變成了一個清晰、連貫、充滿動感的全新視頻。 不僅如此，爲了讓視頻效果更加完美，ReCapture 還會使用 SDEdit 技術對視頻進行最後的潤色，就像化妝一樣，讓視頻更加精緻細膩。

谷歌的研究人員表示，ReCapture 不需要大量的訓練數據，就可以處理各種類型的視頻和視角轉換。 這意味着，即使你只是一個普通的視頻愛好者，也可以用 ReCapture 輕鬆製作出專業級的“多機位”視頻。

項目地址：https://generative-video-camera-controls.github.io/