最近、国地センターはウェイタイロボットと共同で、世界初で現在最大規模かつモーダルが最も完全な、本体をまたぐ視触覚マルチモーダルロボット操作データセットを発表しました:白虎 - VTouch。このデータセットの公開は、ロボットの視覚・触覚認識が単一の形態から本体間の現実的な相互作用への飛躍を示しています。

image.png

白虎 - VTouchは、本体間の視覚・触覚マルチモーダルリアルインタラクションのデータ収集における新しい枠組みを初めて採用しました。これは高精度な視覚・触覚センサーのデータだけでなく、RGB-D深度画像や関節姿勢などの重要な情報を含んでおり、データセット全体の合計時間は60,000分以上です。汎用性を確保するため、データ収集は全サイズの人型ロボット（青龍）、人型に近い車輪式ロボット、そしてハンドヘルドスマート端末など、さまざまな構成をカバーしています。

詳細な表現において、このデータセットは640×480解像度および120Hzリフレッシュレートに対応した高性能センサーを使用しており、物体との接触時の微細な変化を正確に捉えています。現在、このデータセットには約9,072万対のリアルな物体接触サンプルが蓄積されており、家事、飲食、工業、特殊作業の4つのシナリオにおいて260を超える接触密集型タスクを重点的にカバーしています。

研究によると、視覚・触覚感知を導入することで、70％近くのタスクがより連続的な接触状態の記述を得ることができました。これにより、ロボットの精緻な操作、正確な力制御、およびタスク失敗後の自己回復に不可欠な下部データのサポートが得られます。