全景圖像生成新方法PanoFree：無需調優生成多視角圖片

在圖像生成領域，尤其是全景圖像的創建，利用大型預訓練的文本到圖像（T2I）模型進行多視角圖像生成正在成爲一種趨勢。然而，由於獲取多視角圖像的成本較高，許多研究者都在尋求無需調優的生成方法。目前市面上的一些方法要麼只能處理簡單的對應關係，要麼需要大量的微調來捕捉複雜的對應關係。

產品入口：https://top.aibase.com/tool/panofree

最近，研究者們提出了一種新方法 ——PanoFree。這是一種創新的無需調優的多視角圖像生成技術，能夠支持生成長圖、360度圖、天空盒圖等多視角全景圖。

生成長圖:

360° 全景生成：

VR全景圖：

PanoFree 通過迭代的變形和修補過程，依次生成多視角圖像，解決了在生成過程中常見的一致性問題和因錯誤累積而導致的僞影問題，而不需要進行任何微調。

PanoFree 的方法在於提升了跨視角的意識，並通過多種技術手段來改善變形和修補過程。這些技術包括跨視角指導、風險區域的估算和擦除、以及爲閉環生成而進行的對稱雙向引導等。

此外，PanoFree 還利用基於引導的語義和密度控制來保留場景結構。在對平面、360度和全球形全景圖進行的實驗中，PanoFree 展現出顯著的錯誤減少，提升了全局一致性，並且圖像質量大幅提升，且無需額外的微調。

與現有方法相比，PanoFree 在時間效率上提高了5倍，GPU 內存使用效率提升了3倍，並且在用戶研究中結果的多樣性也得到了2倍的提升。

總的來說，PanoFree 爲那些希望降低成本、避免繁瑣微調或使用額外預訓練模型的研究者提供了一個可行的替代方案。

劃重點:

🌟 PanoFree 是一種無需調優的多視角圖像生成方法，支持複雜對應關係。

🚀 該方法通過迭代變形和修補，解決了生成中的一致性和僞影問題。

💡 PanoFree 在時間效率和內存使用上都大幅提升，並且結果多樣性更高。