機器人初創公司1X Technologies 開發了一種新的生成模型,可以提高仿真中訓練機器人系統的效率。該公司在一篇新的博客文章中宣佈了該模型,解決了機器人技術的重要挑戰之一,即學習“世界模型(1X World Model)”,該模型可以預測世界如何響應機器人的動作而變化。

當機器人從相同的起始圖像序列出發時,這個世界模型可以根據不同的動作提議,想象出多種未來場景。
這種能力使其能夠預測複雜的物體互動,比如剛體的運動、物體掉落的效果、以及與可變形物體(如窗簾、衣物)和關節物體(如門、抽屜)的交互。
評估是構建通用機器人時一個非常實際卻常常被忽視的挑戰。如果一個機器人被訓練去完成1000個獨特的任務,那麼很難判斷一個新模型是否在所有1000個任務上都有所提升。環境的微小變化,比如背景和光線的變化,會讓老舊的實驗結果失去參考價值,尤其是在動態的家庭或辦公室環境中,這種問題更加嚴重。

爲了克服這個問題,1X 採用了一種全新的方法,通過從真實傳感器數據中學習,直接構建模擬器,以便在數百萬種場景中評估1X 的機器人政策。這種模擬器不僅可以重複測試,還能夠全面吸收現實世界的複雜性。
在1X 的訓練過程中,1X 收集了數千小時關於人形機器人在家庭和辦公室中進行多種移動操作任務的數據。通過這些數據,1X 的世界模型能夠根據觀察和動作預測未來的視頻。
在不同的動作指令下,這個模型能夠生成多樣化的結果,展示了其對物體交互的強大模擬能力。即使不提供具體動作,該模型也能生成符合邏輯的視頻,如在駕駛時識別並避免人和障礙物。
此外,模型還能夠生成較長時間的任務視頻,例如摺疊 T 恤。
當然,1X 的模型也面臨一些挑戰,比如在物體互動中可能無法維持物體的形狀和顏色,或者在某些情況下物體會消失。
同時,對於物理定律的理解也存在一定的侷限性,例如有時生成的視頻中物體會懸浮在空中。
爲了推動這個領域的研究,1X 發佈了超過100小時的矢量量化視頻和預訓練的基線模型,並推出了1X 世界模型挑戰賽,包括多個階段和現金獎勵,旨在促進更多的研究。
劃重點:
🌟 世界模型是能夠預測機器人行爲與環境互動的虛擬模擬器。
🤖 通過真實數據學習,模型能夠在數百萬種場景中進行評估,增強了機器人智能。
💰 爲推動研究,推出了1X 世界模型挑戰賽,並提供獎金激勵。
