香港大学、ハルビン工业大学、浙江大学が共同で不連続3Dモデル技術「OmniPart」を発表。クリエイティブデザインの再構築

最近、中国香港大学、ハルビン工業大学、浙江大学の研究チームは、「OmniPart」という革新技術を発表しました。この技術は現在主流の3D生成モデルが構築時の細部に欠ける点を解決することを目的としており、生成された3Dモデルが外見的にリアルであるだけでなく、明確な部品構造を持つようにしています。

現存する3D生成モデルであるDreamFusionやTRELLISなどは、見た目が完璧な3D形状を生成することはできますが、内部の部品構造がなく、細部の修正には不向きです。例えば、3Dキャラクターや機械装置のギアを調整する際には、これらのモデルでは非常に手間がかかります。なぜなら、それらは部品レベルでの正確な制御を提供できないからです。このような問題を解決するために、OmniPartは部品同士の独立性を実現しつつ、合理的な全体を形成することを目指しています。

OmniPartは、イノベーティブな2段階生成フレームワークを採用しています。第1段階は構造設計で、自己回帰モデルと柔軟な2D部品マスクを用いて、3D部品の空間配置を計画します。自己回帰モデルは既存のシーケンス情報をもとに、各部品のバウンディングボックスを段階的に生成し、バウンディングボックスの生成は柔軟かつ効率的です。生成されたバウンディングボックスが対応する物体の部品をカバーできるようにするため、OmniPartは新しい部品カバー損失関数を設計し、生成品質を向上させています。

第2段階では、OmniPartは第1段階で生成された部品配置に基づき、事前に訓練された全体的な3D生成器であるTRELLISを使用して、すべての部品の高品質な3D表現を効率的に生成します。この段階では特に、各部品の意味認識と全体構造の一貫性に注目しており、生成された部品が意味的に独立していることを保証するとともに、構造的には密接につながっていることを確保します。さらに、OmniPartは体素ドロップメカニズムを導入し、モデルの正確性と効率性をさらに向上させています。

この技術の登場は、3Dモデリング分野における重要な進歩であり、ゲーム開発やアニメ制作などのクリエイティブ分野での広範な応用が期待されています。

プロジェクト:https://omnipart.github.io/

ポイント：

🌟 OmniPart技術により、3Dモデルの部品が独立性を持ち、クリエイティブデザインがより柔軟になります。

🔍 自己回帰モデルと部品マスクを組み合わせた2段階生成フレームワークにより、3Dモデリングの精度が向上します。

🚀 ボクセルドロップなどのイノベーティブなメカニズムにより、複雑なシーンでのモデルの適用効果が強化されます。