最近、アリババグループの研究チームは、人物画像のパーソナライズ処理に特化したUniPortraitという新しいフレームワークを発表しました。これは、単一人物の一貫性、複数人物の一貫性、スタイルの参照を実現しています。

image.png

このフレームワークは、単一人物の画像処理だけでなく、複数人物のシーンでも高品質なパーソナライズカスタマイズが可能です。UniPortraitの特徴は、顔の特徴を非常にリアルに維持し、幅広い顔編集機能をサポートしている点です。ユーザーは、固定されたレイアウトを必要とせずに、自由形式のテキスト記述を使用して、希望する画像を生成できます。

image.png

単一人物の一貫性

UniPortraitのコアは、ID埋め込みモジュールとIDルーティングモジュールの2つのモジュールで構成されています。ID埋め込みモジュールは、各人物の編集可能な顔の特徴を抽出し、これらの特徴をデカップリングされた方法で拡散モデルのコンテキスト空間に埋め込みます。次に、IDルーティングモジュールは、画像合成における異なる領域に応じて、これらの特徴を適応的に組み合わせ、割り当てることで、単一および複数人物のパーソナライズカスタマイズを実現します。

image.png

複数人物の一貫性

トレーニングにおいて、UniPortraitは、慎重に設計された2段階のトレーニングスキームを採用しています。第1段階は単一人物のトレーニングに焦点を当て、第2段階では複数人物に対して微調整を行います。このようなトレーニング方法により、UniPortraitは、単一および複数人物のカスタマイズにおいて、既存の方法よりも優れたパフォーマンスを示し、実験結果もその優れた拡張性と既存の生成制御ツールとの高い互換性を示しています。

UniPortraitの登場により、特に自由形式のプロンプトと多様なレイアウト生成において、人物画像のパーソナライズカスタマイズに新たな可能性が開かれました。研究チームは、単一および複数人物のパーソナライズされた複数の例を示し、このフレームワークの実用的な可能性の大きさを示しています。要約すると、UniPortraitは画像生成の品質を向上させるだけでなく、将来の様々なアプリケーションシナリオへの道を切り開きます。

製品プロジェクト入口：https://top.aibase.com/tool/uniportrait

試用入口：https://huggingface.co/spaces/Junjie96/UniPortrait

要点：

🌟UniPortraitは、単一および複数人物の画像パーソナライズ処理に特化した新しいフレームワークであり、高品質な顔の特徴保持を備えています。

✍️ このフレームワークは、ID埋め込みモジュールとIDルーティングモジュールで構成され、2段階のトレーニングスキームにより効率的なカスタマイズを実現します。

🚀 UniPortraitは、人物のパーソナライズカスタマイズに豊富な可能性を提供し、自由テキスト記述と多様なレイアウト生成をサポートします。