NVIDIA 發佈 Cosmos DiffusionRenderer:革命性視頻渲染技術

NVIDIA 近期推出了 Cosmos DiffusionRenderer，這是一個旨在實現高質量圖像和視頻重光源及去光源的新型視頻擴散框架。此技術是 NVIDIA 原有 DiffusionRenderer 方法的一次重大更新，通過改進的數據策劃流程，實現了更高質量的渲染效果。

爲了使用 Cosmos DiffusionRenderer，用戶需要滿足一些基本的安裝要求，包括 Python3.10以及配備至少16GB 顯存的 NVIDIA GPU。推薦使用至少24GB 顯存的顯卡。此外，還需要安裝 NVIDIA 驅動和 CUDA12.0或更高版本，並確保有至少70GB 的空閒磁盤空間。

用戶可以通過創建一個名爲 “cosmos-predict1” 的 conda 環境，並安裝相關依賴包來進行設置。安裝完成後，用戶還需要下載模型權重，這些權重可以從 Hugging Face 獲取。下載後，用戶可以開始進行推斷，利用 DiffusionRenderer 對圖像進行去光源和重光源處理。

在圖像推斷中，用戶可以利用已訓練的逆渲染模型，從輸入圖像中提取出基礎顏色、法線、深度等 G 緩衝區信息。通過命令行的操作，用戶能夠輕鬆處理位於特定文件夾中的圖像，並將結果保存到指定的輸出文件夾。

在完成逆渲染後，用戶可以使用前向渲染器來對圖像進行重光源處理。此時，用戶可以選擇自定義的環境光照地圖來進行渲染，產生不同的重光源效果。

如果用戶希望處理視頻，也可以先將視頻中的幀提取出來，然後依次對每一幀進行逆渲染和重光源處理。整個過程支持多個環境光源的選擇，並能生成相應的重光源視頻。

Cosmos DiffusionRenderer 不僅爲用戶提供了極大的靈活性和創造性，還顯著提升了渲染質量。此技術的推出標誌着視頻渲染技術的又一重大進展，未來有望在各種視覺效果創作中發揮重要作用。

項目:https://github.com/nv-tlabs/cosmos1-diffusion-renderer

劃重點:  

🌟 此技術是 NVIDIA 原有 DiffusionRenderer 的重大升級，提供更高質量的圖像和視頻渲染。  

💻 用戶需安裝 Python3.10和至少16GB 顯存的 NVIDIA GPU，並創建相關的 conda 環境。  

🎥 支持對圖像和視頻進行去光源及重光源處理，並能使用多種環境光照地圖進行渲染。