騰訊出品！StereoCrafter：輸入2D視頻轉3D視頻效果

近日，騰訊 AI 實驗室與騰訊 PCG 的 ARC 實驗室聯合推出了一種名爲 StereoCrafter 的新框架，該框架可以將普通的2D 視頻轉換爲高保真的立體3D 視頻。

這一創新響應了對3D 內容日益增長的需求，尤其是在沉浸式體驗領域。StereoCrafter 充分利用了基礎模型的優勢，克服了傳統轉換方法的侷限，顯著提升了生成效果，確保生成內容能夠滿足各種顯示設備的高保真要求。

該系統的核心分爲兩個主要步驟。第一步是基於深度信息的視頻重新貼圖，提取遮擋信息的同時進行視頻變換;第二步則是立體視頻的修復。系統採用了經過預訓練的穩定視頻擴散模型作爲基礎，並引入了針對立體視頻修復任務的微調協議。爲了處理不同長度和分辨率的視頻輸入，團隊還探索了自迴歸策略和切片處理技術，確保系統能夠靈活適應各種輸入條件。

爲了支持訓練，該團隊建立了一條複雜的數據處理流水線，生成了大規模、高質量的數據集。在數據集構建過程中，研究團隊從大量的立體視頻中進行挑選，並生成相應的視頻深度、變換後的視頻和遮擋信息，確保右側視頻作爲真實的基準。這些創新方法爲將2D 視頻轉化爲3D 視頻提供了切實可行的解決方案，使得 Apple Vision Pro 和其他3D 顯示設備能夠呈現更爲精彩的沉浸體驗。

StereoCrafter 不僅在技術上取得了突破，也爲數字媒體的體驗方式帶來了潛在的變革，可能會改變我們觀看和體驗數字內容的方式。

項目入口:https://stereocrafter.github.io/

劃重點:

🌟 StereoCrafter 通過新技術將2D 視頻高效轉換爲沉浸式立體3D 視頻。  

🖥️ 系統分爲深度視頻重構和立體視頻修復兩個主要步驟，提升生成效果。  

📊 研究團隊構建了高質量數據集，以支持算法訓練，確保輸出質量。