デジタル仮想世界の構築が進む中、一枚の写真を精細な3Dキャラクターに変換する技術は、常に技術開発の焦点となっています。今、RodinHD技術の登場により、肖像写真から高精細な3Dアバターモデルを生成することが可能になり、髪の毛の細部まで再現できるようになりました。

image.png

製品入口：https://top.aibase.com/tool/rodinhd

RodinHD技術の中核は、革新的な三次元平面フィッティングと生成フレームワークにあります。フィッティング段階では、各キャラクターに高解像度の三次元平面をカスタマイズし、リアルな画像をレンダリングするための共有デコーダーを装備します。生成段階では、基本的なアップサンプリング拡散モデルの連結を通して、細部が豊富な高解像度の三次元平面を生成します。この過程で、条件付き肖像画画像は階層的に注入され、3Dアバターの詳細な表現を強力にサポートします。

複数のキャラクターを連続して三次元平面にフィッティングする過程で、デコーダーは以前のキャラクターに関する情報を忘れてしまい、新しいキャラクターに過剰に適合してしまう可能性があります。この問題を解決するために、RodinHDはタスクリプレイのデータスケジューリング戦略とウェイトマージ正則化項を導入し、デコーダーによる新しいキャラクターの詳細な捕捉と表現能力を効果的に向上させています。

image.png

高解像度の三次元平面拡散において、RodinHDはノイズスケジューリングを最適化することで、32チャンネルの三次元平面が同じノイズレベルでもより安定し、ディテールの損失を軽減します。さらに、肖像画からより多くのディテールを抽出するために、RodinHDは事前学習済みの変分オートエンコーダーを使用してマルチスケール特徴表現を計算し、低レベルの視覚的ディテールの完全な保持を保証します。

RodinHD技術のブレークスルーは、髪型などの複雑なディテールの捕捉だけでなく、既存の3Dアバター生成技術の全面的な革新にあります。46,000個のアバターの最適化トレーニングを経て、RodinHDによって生成された3Dキャラクターは、ディテールにおいて従来の方法を凌駕し、様々な種類の肖像画入力にも対応できます。

合成肖像画生成条件アバター

野外肖像画からの作成

テキスト条件下でのアバター作成

要点：

🛠️ **三次元平面フィッティングと生成**:RodinHDは、フィッティングと生成の2段階のプロセスを通じて、各キャラクターに高解像度の三次元平面と共有デコーダーをカスタマイズします。

🔄 **壊滅的な忘却の克服**:タスクリプレイとウェイトマージ正則化により、RodinHDは連続フィッティングにおけるデコーダーの忘却問題を効果的に解決します。

🎨 **高解像度三次元平面拡散**:最適化されたノイズスケジューリングとマルチスケール特徴表現により、RodinHDは3Dキャラクターの詳細表現においてかつてない高みに達しています。