デジタル時代において、バーチャルリアリティ（VR）と拡張現実（AR）技術は、私たちの生活と働き方を徐々に変えつつあります。自分のあらゆる動きや表情を模倣する3Dアバターを作成できたらどうなるか、想像してみてください。

DGISTとMeta社のCodec Avatars Labが共同開発したExAvatarは、この想像を現実のものにしようとしています。この技術は、ビデオを通して全身の動き、表情、さらには手のジェスチャーを捉え、それらを生き生きとした3Dデジタルアバターに変換します。

ExAvatarの2つの革新的な点：まず、SMPL-X全身パラメータ化メッシュモデルを採用し、人体の様々な姿勢を正確に捉え、再現します。次に、3Dガウススプラッティング技術（3DGS）と組み合わせることで、ExAvatarによりリアルで効率的なレンダリング能力を与えています。

主な機能:

  • 全身3D駆動：身体、手、顔の全面的なアニメーションをサポートし、様々なポーズと表情を生成します。

  • 混合表現法：3Dガウスと表面メッシュを組み合わせることで、幾何学的および外観の一貫性を確保し、アーティファクトを削減します。

  • 簡単なキャプチャ：短時間のスマホスキャンで3Dアバターを作成でき、操作が簡単です。

  • 高品質レンダリング：高度なアルゴリズムと技術を採用し、高品質なダイナミックな表現とレンダリング効果を実現します。

  • 既存技術を凌駕：自然な動きと外観において、従来の3Dアバター生成技術を上回り、より幅広い用途に適応します。

ExAvatarは、表情やポーズのバリエーション不足、3Dスキャンや深度画像などの観測データの不足など、従来技術におけるいくつかの課題を解決しました。混合表現法により、ExAvatarはアニメーションの自然さを向上させ、新しいポーズでのアーティファクトの発生を削減します。

image.png

ExAvatarのトレーニングの前に、研究チームは身体、手、顔に対してSMPL-Xモデルの共同アライメントを行い、関節オフセットと顔のオフセットを導入し、手の骨の長さと顔の領域の形状を最適化することで、アバターの表現力と自然さを向上させました。

ExAvatarの技術アーキテクチャは、各ガウスの特徴を抽出し、多層パーセプトロン（MLP）で処理し、標準メッシュと組み合わせて、標準空間でアニメーション化できる3Dアバターを形成します。線形補間（LBS）アルゴリズムを使用してアニメーション処理を行い、3DGS技術を使用してアバターを画面にレンダリングすることで、高品質な視覚効果を確保します。

ExAvatarの利便性は、ユーザーが簡単なスマホスキャンで3Dアバターを作成でき、新しい体のポーズ、ジェスチャー、表情でアニメーション化し、あらゆる角度からレンダリングできる点にあります。この技術は、混合表現法により、各3Dガウスを表面の頂点と見なし、これらの頂点間には事前に定義された接続性があり、SMPL-Xのメッシュトポロジー構造と一致しています。

プロジェクトアドレス：https://top.aibase.com/tool/exavatar

論文アドレス：https://arxiv.org/pdf/2407.21686