最近、NVIDIAは生成型AIの顔面アニメーションモデルであるAudio2Faceをオープンソース化することを発表しました。このモデルにはコアアルゴリズムだけでなく、ソフトウェア開発キット（SDK）や完全なトレーニングフレームワークも含まれており、ゲームや3Dアプリケーションにおけるスマートな仮想キャラクターの開発を加速することを目的としています。

image.png

Audio2Faceは音声中の音素やトーンなどの音響特徴を分析し、リアルタイムで仮想キャラクターの顔の動作を駆動し、正確な口元同期と自然な感情的な表情を生成します。この技術はゲーム、映画制作、カスタマーサービスなど多くの分野で広く適用されています。

Audio2Faceモデルは2つの実行モードをサポートしています。一つは予め録音された音声用のオフラインレンダリングであり、もう一つは動的なAIキャラクターのリアルタイムストリーミング処理に対応しています。開発者に使いやすくするために、NVIDIAはAudio2Face SDK、Autodesk Maya向けのローカル実行プラグイン、Unreal Engine 5.5以降のバージョン対応プラグインなど、複数の重要なコンポーネントをオープンソース化しています。また、回帰モデルと拡散モデルもオープンソース化されており、開発者はオープンソースのトレーニングフレームワークを利用して自前のデータでモデルを微調整し、特定の用途に適した形にカスタマイズできます。

現在、この技術は多くのゲーム開発会社によって広く採用されています。ゲーム開発会社Surviosは、『Alien: Dead Space Evolution』というゲームにおいてAudio2Faceを統合し、口元同期と顔のキャプチャのプロセスを大幅に簡略化しました。また、Farm51スタジオはその作品『Chernobyl: Restricted Zone 2』においてこの技術を活用し、音声から詳細な顔面アニメーションを直接生成することで、制作時間を大幅に節約し、キャラクターの現実感と没入感を向上させました。同スタジオのイノベーションディレクターWojciech Pazdurは、「この技術はまさに革命的な突破」と語っています。

NVIDIAのこの新たな取り組みは、開発者たちにさらに多くの創作ツールを提供するものであり、仮想キャラクターの表現のさらなる進化を促進するでしょう。技術の進歩が続く中、今後ゲームや映画作品でよりリアルで生き生きとしたキャラクター表現を見られるようになることを期待できます。

入口:https://build.nvidia.com/nvidia/audio2face-3d

ポイント:  

🔊 NVIDIAはAudio2Faceモデルをオープンソース化し、仮想キャラクターの顔面アニメーション生成技術の向上を目指しています。

🎮 オフラインレンダリングおよびリアルタイムストリーミング処理をサポートしており、さまざまなシナリオに適応可能です。

🌟 複数のゲーム開発会社によって採用され、制作プロセスを簡略化し、キャラクターの現実感を高めています。