人工知能はデジタル人間分野での応用がますます熱を帯びており、アリババは北京郵電大学と協力して近日、注目を集める新プロジェクト「FantasyPortrait」を発表しました。このプロジェクトは、イノベーティブな表情強化拡散変換器（DiT）を通じて、単一人物および多人物のシナリオにおいて複雑な感情表現やアイデンティティ間の表情移行を実現し、デジタル人間アニメーション技術に新たな突破をもたらしています。

 FantasyPortrait: デジタル人間アニメーションの革命的な進展

FantasyPortraitプロジェクトは、表情強化拡散変換器（Expression-augmented DiT）技術に基づいており、デジタル人間アニメーションの生成と制御に焦点を当てています。AIbaseはソーシャルメディアから知りました。このプロジェクトは、単一人物および多人物のシナリオを効率的に処理でき、アイデンティティ間の表情移行をサポートし、複雑な感情を正確に表現することができます。細かい微笑みや激しい怒りなど、FantasyPortraitは高精細度で再現し、デジタル人間アニメーションのリアルさと表現力を大幅に向上させています。

image.png

さらに注目すべき点は、FantasyPortraitが多人物シナリオにおいて複数のキャラクターを独立して表情制御できることです。これにより、従来技術でよく見られる表情の混ざり合いの問題が回避されます。これは、複数のデジタル人間が同じシナリオで全く異なる表情を示すことができ、映画制作、仮想現実、ゲーム開発などの場面で強力な技術的支援を提供することになります。

 マルチモーダル駆動をサポートし、人物と動物をカバー

FantasyPortraitの柔軟性はその最大の特徴の一つです。この技術は、人間のキャラクターだけでなく、動物の描写にも対応しており、クリエイティブなコンテンツ作成者にとってより多くの可能性を提供します。また、プロジェクトは音声駆動機能をサポートしており、ユーザーは音声入力を通じてデジタル人間の表情や動作を駆動し、音声のリズムに非常に一致したアニメーション効果を作成できます。

AIbase編集チームは、このマルチモーダル駆動能力により、FantasyPortraitが仮想パーソナリティ、ショートビデオコンテンツ制作、インタラクティブエンターテインメントなどの分野で広範囲な応用可能性を持っていると考えています。仮想アイドルの構築や個別化されたアニメーションの生成など、FantasyPortraitは効率的で高品質なソリューションを提供します。

 オープンソースへの取り組み、開発者コミュニティを支援

ソーシャルメディアによると、FantasyPortraitのコードとモデルは今後オープンソースになる予定です。この取り組みは、開発者が最先端のデジタル人間技術にアクセスするハードルを下げ、世界中の開発者コミュニティがこの技術を探索・応用するのに役立ちます。AIbaseは、アリババが近年AIオープンソース分野に継続的に投資してきた結果、広く評価されてきたことを注目しています。FantasyPortraitのオープンソース計画は、同社がデジタル人間技術分野でのリーダー地位をさらに強固にするでしょう。

また、アリババと北京郵電大学の協力は、産学連携の模範例を示しています。北京郵電大学が通信とAI分野で持つ深い学術的蓄積と、アリババのエンジニアリング能力が組み合わさることで、FantasyPortraitの研究開発には堅固な支えが得られています。

 多様なシーンでの応用、デジタル人間の新しい章を開く

FantasyPortraitの登場は、デジタル人間技術における感情表現と複数キャラクター間の相互作用において重要な進歩を意味しています。映画制作、仮想現実、ゲーム開発などの分野での潜在的な応用が期待されています。例えば、映画制作チームはFantasyPortraitを使って複数キャラクターのアニメーションシーンを迅速に生成し、制作コストを削減できます。ゲーム開発者は、その音声駆動機能を利用して、より没入感のあるキャラクターとのインタラクション体験を構築できます。

AIbase編集チームは、FantasyPortraitの革新がデジタル人間アニメーションの質を向上させ、コンテンツ作成者により柔軟なツールを提供していると考えています。技術がさらに成熟していくにつれて、FantasyPortraitはデジタル人間分野の基準技術となることが期待され、業界を新たな高みへと導くことになるでしょう。

結論  

アリババと北京郵電大学が共同で発表したFantasyPortraitプロジェクトは、表情移行、複数キャラクター制御、マルチモーダル駆動の面で大きな突破を遂げ、デジタル人間技術に新たな可能性を開きました。AIbaseはこのプロジェクトの最新進展とオープンソースの動向を継続して注目し、読者にさらに先進的な情報を提供していきます。もしデジタル人間アニメーションに関心があるなら、FantasyPortraitのコード公開を楽しみにしてみてください。実際にこの技術の魅力を感じてみてください!

プロジェクトのURL：https://github.com/Fantasy-AMAP/fantasy-portrait