カリフォルニア大学サンディエゴ校とマサチューセッツ工科大学(MIT)の研究者らが開発した「Open-TeleVision」というプロジェクトは、非常に革新的です。これは、オープンソースの遠隔操作システムで、4800キロメートル離れた場所からでもロボットを容易に操作し、物体を正確に操作できる、まるで映画「アバター」のような高度な技術です。

このシステムの互換性は抜群です。Vision Pro、Quest、Mac、iPad、iPhoneのいずれかがあれば、簡単に操作できます。リアルタイムの立体ビデオストリーミングに対応しており、空間と奥行きを明確に把握でき、操作は非常にスムーズです。

核心理念

Open-TeleVisionシステム最大の特長は、VRヘッドセットを使用することで、他のウェアラブルデバイスを必要とせずにロボットを遠隔操作できることです。人間の両眼立体視と首の動きをシミュレートすることで、まるで自分がロボットになったかのような没入感を体験できます。

技術的ハイライト

  • 没入型体験：従来の2Dビデオの平凡さを超え、VRヘッドセットは3Dビデオを表示します。左右の目の画像が異なるため、自然な立体視が実現し、空間距離を正確に把握できます。

  • 首の可動性：ロボットは可動式の首を持ち、人間の目の焦点を合わせる方法をシミュレートしています。頭を動かすだけで異なる領域を観察でき、操作は非常に簡単です。

  • 計算効率：画像の中心部分に焦点を当てることで、高解像度の広角画像の処理ニーズを削減し、計算効率とシステムのフレームレートを向上させます。

実現方法

  • 逆運動学アルゴリズムを使用して、VRヘッドセットが提供するAPIをロボットにマッピングし、動作の正確な伝達を実現します。

  • システムはWebプラットフォームをベースとしており、いつでもどこでもあらゆるデバイスのブラウザからアクセスでき、低遅延で高効率な遠隔操作が可能です。

遠隔操作の課題と解決策

  • 自由度のマッチング：マッピングプロセスを通じて、ヒューマノイドロボットと人間の自由度の不一致の問題を解決し、ほぼすべてのロボットに適切なマッピング方法を見つけることができます。

  • データ収集と学習：遠隔操作によって収集されたデータでロボットをトレーニングすることで、自律的なタスク遂行を実現し、システムの信頼性と汎化能力を向上させます。

プロジェクトアドレス:https://github.com/Improbable-AI/VisionProTeleop