近日,新加坡國立大學(NUS)團隊發佈了一個名爲 “OmniConsistency” 的創新項目,旨在以極低的成本復現 OpenAI 的 GPT-4o 模型在圖像風格化上的一致性。這項技術不僅解決了當前開源社區在圖像風格化和一致性之間的矛盾,還爲廣大開發者提供了可行的解決方案。
近年來,圖像風格化的技術不斷髮展,但在實際應用中,風格與內容一致性之間的平衡一直是個難題。爲了增強風格化效果,很多模型往往犧牲了細節和語義的準確性。NUS 的研究團隊認識到這個問題,他們的目標是實現風格化效果和一致性之間的完美結合。
OmniConsistency 的核心創新在於其獨特的學習框架。與以往的方法不同,OmniConsistency 並不單純依賴風格化結果的訓練,而是通過配對的圖像數據學習風格遷移中的一致性規律。該項目只用2600對高質量圖像,經過500小時的 GPU 算力訓練,便實現了令人驚豔的效果。如此低的成本大大降低了開發者的負擔。
此外,OmniConsistency 採用了一種模塊化架構,支持即插即用,兼容各種現有的風格化 LoRA(低秩適應)模塊。這意味着,開發者可以輕鬆將 OmniConsistency 整合進他們的項目中,而不必擔心與現有系統的衝突。
通過這項新技術,NUS 希望在開源生態中注入近乎商業級的能力,爲更多的開發者和創作者提供便利。未來,OmniConsistency 可能會成爲圖像生成領域的重要工具,推動 AI 藝術創作的進一步發展。
項目地址:https://github.com/showlab/OmniConsistency