阿里團隊推新框架UniPortrait：支持多角色一致性和風格參考

最近，阿里巴巴集團的研究團隊發佈了一種名爲 UniPortrait 的全新框架，專注於人像圖像的個性化處理，實現了單角色一致性、多角色一致性和風格參考。

這個框架不僅可以處理單一身份的圖像，還可以在多角色的場景中進行高質量的個性化定製。UniPortrait 的特點是能夠保持面部特徵的高度逼真，並且支持廣泛的面部編輯功能，用戶甚至可以使用自由形式的文本描述來生成他們想要的圖像，而不需要固定的佈局。

單角色一致性

UniPortrait 的核心由兩個模塊組成:ID 嵌入模塊和 ID 路由模塊。ID 嵌入模塊負責提取每個身份的可編輯面部特徵，並將這些特徵以解耦的方式嵌入到擴散模型的上下文空間中。接着，ID 路由模塊會根據圖像合成中的不同區域自適應地組合和分配這些特徵，從而實現單一和多個身份的個性化定製。

多角色一致性

在訓練過程中，UniPortrait 採用了精心設計的兩階段訓練方案。第一階段專注於單一身份的訓練，第二階段則是對多重身份進行微調。通過這樣的訓練方式，UniPortrait 在單一和多重身份的定製表現上均優於現有的方法，實驗結果也顯示出它良好的可擴展性，能夠與現有的生成控制工具普遍兼容。

UniPortrait 的推出爲人像圖像的個性化定製帶來了新的可能性，尤其是在自由形式的提示和多樣化佈局生成方面。研究團隊展示了多個單一和多重身份的個性化示例，顯示了這個框架在實際應用中的巨大潛力。總之，UniPortrait 不僅提升了圖像生成的質量，也爲未來的各種應用場景鋪平了道路。

產品項目入口：https://top.aibase.com/tool/uniportrait

試玩入口：https://huggingface.co/spaces/Junjie96/UniPortrait

劃重點:

🌟Portrait 是一個全新的框架，專注於單一和多重身份的圖像個性化處理，具備高質量的面部特徵保留。  

✍️ 該框架由 ID 嵌入模塊和 ID 路由模塊組成，通過兩階段訓練方案實現高效的定製。  

🚀 UniPortrait 爲人像個性化定製提供了豐富的可能性，支持自由文本描述和多樣化佈局生成。