カリフォルニア州サンレアンドロにある倉庫で、データツール企業のEncordは前線実験を行っています。それは、「パイロット」として呼ばれる人がカメラと脳波センサーを備えたヘッドマウントディスプレイを装着し、ブロック遊び（ジャッキーナイフ）をしている間、脳活動データを収集するものです。ドイツの神経科学スタートアップ企業Zander Labsが開発したこの脳波ヘッドマウントディスプレイは、微細なタスクを遂行している際の脳波信号をリアルタイムで測定し、誤りや意図、驚きなどの心理状態を推定しようとしています。その目的は、ロボットモデルに価値あるトレーニングデータセットを作成することです。

Encordは、人型ロボットと倉庫用ロボットの発展において真正の課題はモデル構造ではなく、現実世界の物理的トレーニングデータの極めて乏しいことであると考えています。Encordのロボット学習責任者Vineeth Velmuruganが述べたように「これらのデータは存在しない」のです。そして、その突破に必要なデータ量はYouTube全体の動画ライブラリの5倍程度です。

人工操作からデータ工場へ、物理AIの経済的ジレンマ

倉庫内では、パイロットたちが「主従式」の機械アーム装置を使用しています。一つは人間が直接操作し、もう一つはその動作を模倣します。コーヒーを注ぐ、ポーカーのチップを積むなどのタスクのトレーニングデータを生成しています。棚には偽花、本、プラスチック野菜、猫砂の入れ物などが並んでおり、これらは家庭用操作用のロボットハンドのトレーニング用具です。別の作業台では、パイロットのSofia Infanteが機械アームを使ってサーバーのケーブルを差し替える作業を行っています。このようなデータセンター運営者にとって夢のような自動化タスクは、現在、ロボットの爪の柔軟性不足のためにまだ遠いものです。

脳波だけでなく、Encordは新しいデータモダリティも開発中です。前腕にセンサーセットを装着して筋電信号を検出することで、手の3次元軌跡を構築し、ビデオで指が遮られている情報の欠損を補完しています。各データセットには密集した物理的なアクションのラベリング（例：「右の手でネジを締める」）が付いています。Velmuruganは、このような高品質なラベリングが特定のタスクトレーニングにおいて通常データの100倍の価値があると見積もっていますが、生産コストは20倍に過ぎません。理論的にはこれは非常に得になる取引です。