embodied intelligence（身体智能）の分野において、「Sim2Real」（シミュレーションから現実へ）は常に避けて通れない課題であり、シミュレーション環境の構築には高いコストがかかるだけでなく、モデルを現実世界に移す際に性能が低下するケースも少なくありません。最近、リー・フィーフェイ氏のチームとナビダスGEARラボ、ジョージアテクノロジーカレッジなど複数の機関が共同で発表した新たな研究により、この難題に対して新たな解決策が提示されました。それが「Real2Sim」です。

このシステムは「SimFoundry」と呼ばれており、現実世界の動画1本あれば、対話可能な、訓練や評価が可能なロボットのシミュレーション環境を自動生成できます。従来の3Dシーン再構築とは異なり、SimFoundryは現実世界を深く解析し、再構築することで、シミュレーション環境の構築のハードルを大幅に下げています。

image.png

SimFoundryの核心的な革新点は、「デジタルツイン」と「デジタル親戚」の閉ループ構築にあります。まず、システムは動画情報を抽出し、シーン内の物体の幾何構造、物理的特性、インタラクション機能を解析して高精度な「デジタルツイン」を作成します。その上で、システムは物体の外観や形状、シーンの配置、さらには操作タスクを自動的に調整し、膨大な数の「デジタル親戚」を生成します。これにより、開発者はわずかな現実世界の動画だけで、ほぼ無限のトレーニングデータを得ることができ、ロボットがシミュレーションの中で戦略学習から自動評価までを行うことが可能になります。

実験データによると、SimFoundryは優れた予測能力を示しており、シミュレーションで評価されたロボットのパフォーマンスは現実世界での結果と非常に一致しています。さらに重要なのは、これらの自動生成データで訓練されたロボットの戦略が「ゼロサンプル」移行が可能であり、多段操作や二足協働などの複雑なタスクでも優れた性能を発揮することです。

この研究は、ロボティクス分野の著名な学者たちによって共著されています。ナビダスGEARラボの主要研究者およびリー・フィーフェイ氏のチームメンバーが含まれます。このシステムがオープンソース化され、実用化されることで、エモビッドインテリジェンス（身体知能）ロボットの開発プロセスは大きな変化を迎えることになります。つまり、高価な人為的な収集やモデリングに依存するのではなく、生成技術を活用して、ロボットがより迅速に実世界へと進出できるようになるのです。

論文のURL: https://arxiv.org/pdf/2606.28276v1