NVIDIAが新たに発表したEdify3Dテクノロジーは、3Dアセット生成分野において大きな飛躍を遂げました。この革新的な技術は、テキストの説明や参照画像に基づいて、わずか2分間で完全なUVマップ、4Kテクスチャ、PBRマテリアルを含む高品質な3Dモデルを生成します。ゲームデザイン、映画制作、拡張現実など、様々な業界に革命的なソリューションをもたらします。

Edify3Dは独自の技術アーキテクチャを採用し、多視点拡散モデルとTransformerベースの再構成技術を組み合わせています。そのコアパイプラインは3つの主要なステップで構成されます。

多視点拡散モデルが入力に基づいて複数の視点からのRGB画像を生成します。

多視点ControlNetが対応するサーフェースノーマルを合成します。

再構成モデルがこれらの情報をニューラル3D表現に統合し、アイソサーフェスの抽出とメッシュの後処理によって最終的なジオメトリを生成します。

実際の応用において、Edify3Dは卓越した性能を示しています。正確なメッシュ構造を持つ3Dモデルを生成するだけでなく、高解像度のテクスチャとマテリアルマップの完全性を保証します。システムは、バックパック、蓄音機からロボットアームまで、多様な3Dアセットの生成をサポートし、生成されたモデルはすべて適応可能な四角形メッシュトポロジ構造を持ち、後処理やレンダリングが容易です。

特に注目すべきは、Edify3Dが複雑な3Dシーンの生成にも使用できることです。大規模言語モデル（LLM）と組み合わせることで、システムはテキストプロンプトに基づいてシーンのレイアウト、オブジェクトの位置とサイズを定義し、一貫性があり現実的な3Dシーンの組み合わせを作成できます。この機能は、アートデザイン、3Dモデリング、AIシミュレーションなどのアプリケーションに強力なサポートを提供します。

技術的な拡張性においても、Edify3Dは優れたパフォーマンスを示します。トレーニングする視点の数が増えるにつれて、モデルが生成する画像の品質と一貫性が向上します。再構成モデルのパフォーマンスも入力視点の数が増えるにつれて向上し、計算リソースに応じて三平面トークンサイズを柔軟に調整することもできます。

この技術の発表は、3Dコンテンツ制作が新たな時代に入ったことを示しており、関連業界に前例のない効率向上と創造の可能性をもたらします。

詳細情報：https://research.nvidia.com/labs/dir/edify-3d/