近日,研究團隊發佈了一項新的圖像超分辨率(SR)技術,該技術基於擴散反演(Diffusion Inversion),旨在通過充分利用大型預訓練擴散模型中的圖像先驗信息,提升圖像的分辨率和清晰度。這項研究由來自不同學術機構的三位學者共同完成,他們的目標是爲圖像超分辨率領域帶來新的突破。

image.png

在這項技術中,研究者們設計了一種名爲 “部分噪聲預測”(Partial noise Prediction)的策略,該策略通過構建擴散模型的中間狀態作爲起始採樣點。這一核心方法依賴於一個深度噪聲預測器,該預測器能夠爲前向擴散過程提供最佳的噪聲圖。經過訓練後,這個噪聲預測器能夠部分初始化採樣過程,沿着擴散軌跡生成高分辨率的圖像。

與現有的超分辨率方法相比,這項技術具有更加靈活和高效的採樣機制,可以支持從一個到五個任意數量的採樣步驟。值得注意的是,即使只使用一個採樣步驟,這種新方法的表現也優於或與當前最先進的技術相當。

image.png

該研究團隊還提供了詳細的使用說明和訓練指導,包括所需的軟硬件環境、模型的下載鏈接以及如何在有限的 GPU 內存條件下運行程序。這些信息將幫助研究人員和開發者更好地使用該技術進行圖像超分辨率的相關工作。

此外,研究團隊還設立了在線演示平臺,方便用戶直觀地體驗這一創新技術,並且提供了用於驗證研究結果的合成數據集及真實數據集鏈接。研究者們希望通過這項技術,能夠爲圖像超分辨率的實際應用提供更高效、更清晰的解決方案。

image.png

項目入口:https://github.com/zsyOAOA/InvSR?tab=readme-ov-file

demo:https://huggingface.co/spaces/OAOA/InvSR

劃重點:

🌟 這項新技術基於擴散反演,能夠有效提升圖像分辨率。  

🔍 採用 “部分噪聲預測” 策略,靈活支持不同的採樣步驟。  

💻 提供詳盡的使用指南及在線演示,便於用戶操作與體驗。