近年、LHM(大規模アニメーション可能な人体再構築モデル)と呼ばれる革新的な技術が3D人体再構築分野で大きな進歩を遂げ、この分野に新たな発展方向と応用可能性をもたらしました。

単一画像からアニメーション可能な3D人体を再構築することは、幾何学的、外観的、変形分離の曖昧性などの問題を抱える非常に困難な課題でした。現在の最新の研究は、主に静的な人体モデリングに集中しており、これらの手法は合成された3Dスキャンデータに依存することが多く、実際の場面での汎化能力を大きく制限していました。同時に、最適化に基づいたビデオ手法は、撮影条件の厳格な制御が必要な上に、計算処理が非常に集中的で、実用的な応用ニーズを満たすことが困難でした。

これらの課題に対処するため、LHMモデルが開発されました。このモデルは革新的にマルチモーダル・トランスフォーマーアーキテクチャを採用し、強力なアテンションメカニズムを通じて、人体位置特徴と画像特徴を効果的にエンコードします。このアーキテクチャにより、LHMは人体形状を正確に再構築するだけでなく、衣服の形状やテクスチャも詳細に保存し、よりリアルで繊細な3D人体モデルをユーザーに提供します。

QQ20250324-095417.png

特筆すべきは、LHMが頭部特徴ピラミッドエンコーディングスキームを提案していることです。このスキームは頭部領域のマルチスケール特徴を統合することで、モデルの人体頭部ディテールの捕捉能力をさらに向上させ、生成される3D人体モデルの頭部の表現をよりリアルなものにします。実際の応用において、LHMは驚異的な効率性を示し、わずか数秒で合理的なアニメーション人体を生成でき、複雑な後処理も不要なため、時間と人件費を大幅に削減できます。

多くの実験検証を経て、LHMは再構築精度と汎化能力の両方において、既存の手法を上回ることが示されました。複雑なシーンや様々な照明条件下においても、LHMは安定して高品質な3D人体再構築結果を出力します。