アリババグループは、デジタルヒューマン技術の分野で新たな成果を収め、MNNフレームワークに基づく3Dデジタルヒューマンアプリ「MNN TaoAvatar」を正式にオープンソースしました。この革新的な技術は、ライブストリーミング、仮想ソーシャル、ARアプリケーションなどの分野に新しい可能性をもたらし、高忠実度の3D仮想キャラクター生成とリアルタイムインタラクション機能をモバイルデバイスにもたらします。以下では、AIbaseがこの注目すべき技術の詳細について詳しく解説します。

MNN TaoAvatar: モバイルデバイス上の3Dデジタルヒューマン「魔法の杖」

MNN TaoAvatarは、アリババが独自開発した軽量級ディープラーニング推論フレームワークMNNに基づいた3Dデジタルヒューマン技術です。従来の平面化されたLive2D技術とは異なり、MNN TaoAvatarは本格的な3D仮想キャラクターのリアルタイム生成と駆動をサポートし、スマホなどのモバイルデバイス上で最大90FPSのフレームレートで動作し、滑らかなインタラクション体験を提供します。

この技術は、3Dガウススプラッティング(3Dガウススプラッティング)技術と組み合わせ、マルチビュー画像シーケンスからフォトリアリスティックな3D全身仮想キャラクターを生成します。顔の表情、手のジェスチャー、体のポーズなど、MNN TaoAvatarはミリ単位の細部まで精密に制御でき、仮想キャラクターの口パク、表情、動きが自然に同期されるため、ユーザーには生き生きとした視覚体験を提供します。

image.png

技術の特長: 軽量かつ効率的、マルチモーダル対応

MNN TaoAvatarの成功は、MNNフレームワークの強力なパフォーマンスによるものです。アリババが2019年にオープンソースとしてリリースした推論エンジンであるMNNは、軽量、高性能、そしてクロスプラットフォーム互換性で業界内外で高く評価されています。MNN TaoAvatarはその基礎をさらに最適化し、以下の主要な優位性を備えています:

リアルタイム顔キャプチャ: 深層学習アルゴリズムを通じて、MNN TaoAvatarはユーザーの感情(喜び、悲しみ、怒りなど)を正確に捉え、3D仮想キャラクターに遅延なく同期させることができます。これはライブストリーミングや仮想会議などのリアルタイムインタラクションシナリオに最適です。

軽量なデプロイメント: MNNのモデル量子化やメモリ最適化技術により、MNN TaoAvatarは一般的なスマホでも快適に動作し、ハイエンドハードウェアを必要とせず、使用する障壁を大幅に下げています。

マルチモードサポート: 顔の表情キャプチャだけでなく、音声、テキスト、画像生成など、多様な入力方法をサポートしており、開発者には豊富なクリエイティブスペースを提供しています。

オープンソースエコシステム: アリババのオープンソース戦略の一環として、MNN TaoAvatarは完全なAPIとツールを提供しており、AndroidやiOSアプリに簡単に統合できるよう設計されています。

さらに、MNN TaoAvatarは知識蒸留技術と学習可能なガウス混合形状最適化を使用して非剛性変形処理を改善し、複雑なポーズ下でも仮想キャラクターが高精度を維持することを確保しています。このような技術革新により、限られたリソースを持つモバイルデバイス上でも高品質なレンダリングが可能となり、「黒い技術」と呼ばれるべき存在となっています。

応用例: ライブコマースからメタバースまで

MNN TaoAvatarの応用範囲は非常に広く、アリババの内部でもいくつかのシーンで検証されています。例えば、淘宝(タオバオ)やYouku(ユウク)などのプラットフォームでは、3Dデジタルヒューマン技術がライブコマースや仮想イベントのユーザーエクスペリエンスを向上させています。以下にいくつかの典型的な応用事例を示します:

ライブコマース: 現実に近い3D仮想司会者を通じて、MNN TaoAvatarはユーザーの没入感を高めると同時に、人的コストを削減します。

仮想ソーシャルと会議: ユーザーは個性的な3D仮想アバターを作成し、仮想会議やソーシャルインタラクションに参加することで、没入感のある体験を提供できます。

メタバースとAR: MNN TaoAvatarはApple Vision ProのようなARデバイス上で動作し、メタバースや仮想現実アプリケーションに技術的サポートを提供します。

オンライン教育とエンターテインメント: 生き生きとした仮想キャラクターを通じて、MNN TaoAvatarは教育コンテンツやゲームに楽しさとインタラクティビティを加えます。

特に注目すべきは、MNN TaoAvatarの低いストレージ要件と高い互換性で、モバイルデバイスやARデバイスに最適であり、将来のメタバース普及に向けた技術基盤を提供しています。

オープンソースによる推進: アリババデジタルヒューマン技術の新たなマイルストーン

MNN TaoAvatarのオープンソース化は、アリババがデジタルヒューマン技術分野で達成した新たな重要な進展を意味します。以前にも、アリババ通義ラボはEchoMimic、OmniTalkerなどのデジタルヒューマンプロジェクトをリリースし、その分野での深い蓄積を示してきました。MNN TaoAvatarの公開により、MNNエコシステムが更に拡大され、世界中の開発者が3Dデジタルヒューマンアプリケーションを探究するための便利なツールが提供されました。

プロジェクトのアドレスは公開されています(https://github.com/alibaba/MNN)、開発者は豊富なAPIやドキュメントを利用して、自分専用の3Dデジタルヒューマンアプリを作成できます。AIbaseは、MNN TaoAvatarのオープンソース化が3Dデジタルヒューマン技術の開発障壁を下げ、商業シーンでの普及を加速させ、コンテンツクリエイターや企業に強力な技術的支援を提供すると考えています。

詳細については、プロジェクトの公式ウェブサイトをご覧ください: https://pixelai-team.github.io/TaoAvatar/ またはGitHubアドレス: https://github.com/alibaba/MNN。[](https://ai-bot.cn/taoavatar/)[](https://www.aitop100.cn/infomation/details/26939.html)