最近、北京大学、清华大学、上海交通大学、武漢大学などの大学が共同で「MotionTrans」という人間とロボットの協調学習フレームワークを発表しました。このフレームワークの画期的な点は、ロボットが何らかの模範なしに、人間の動作を観察するだけで新しいスキルを学び実行できることです。これはロボット学習分野での大きな飛躍を意味しています。

image.png

従来のロボット訓練には大量の現実的な模範データが必要で、これらのデータを収集するプロセスは時間がかかり高コストです。例えば、ロボットにボトルキャップを回す方法を教えるには、繰り返し操作してすべての細部を記録する必要があります。しかし現在、MotionTransはバーチャルリアリティ（VR）デバイスを使用して、人間の細かい手の動きのデータを捉え、ロボットに学習の基礎を提供できます。

MotionTransの実施において、研究者はポータブルなVRデバイスを使用しており、誰でもいつでもデータ記録に参加できます。システムは装着者の手のキーポイントを記録するだけでなく、第一人称視点の動画も同期して撮影するため、データの質と豊かさを確保します。データ収集が完了した後、チームは3,213件のシナリオを含むデータセットを構築し、さまざまな人間とロボットのタスクをカバーしました。

コア技術は、人間の動作データをロボットが理解できる形式に変換することです。研究者たちは技術を最適化し、人間の手の動きをロボットの関節角度に正確にマッピングすることで、ロボットが現実環境で人間の動作を実行できるようにしました。さらに、ロボットの作業特性に合わせて、速度や快適な領域の調整を行って、ロボットの安全性と安定性を確保しました。

この革新的なフレームワークの登場により、ロボットは人間の自然な動作を模倣することで、より効率的なスキル学習が可能となり、将来の人間とロボットの協働の基盤を築くことになります。

github：https://github.com/michaelyuancb/motiontrans

重要なポイント:  

🦾 研究チームがMotionTransフレームワークを公開し、ロボットがゼロサンプルで新しいスキルを学ぶことが可能になりました。

👾 VRデバイスを使って人間の手の動きのデータを収集し、豊富なトレーニングデータセットを構築しました。

🔧 人間の動作データがロボット言語に変換され、より効率的なスキル移行が可能になりました。