近日,麻省理工學院(MIT)的計算機科學與人工智能實驗室(CSAIL)與豐田研究院共同推出了一款名爲 “可引導場景生成”(steerable scene generation)的生成式 AI 工具,旨在提升機器人學習能力。這款新工具能夠創建虛擬訓練環境,如廚房、客廳和餐廳,以供工程師測試機器人如何處理現實生活中的任務。

圖源備註:圖片由AI生成,圖片授權服務商Midjourney
該平臺經過訓練,基於超過4400萬個3D 房間的數據,具備 “可引導” 的特性,利用了一種名爲 “蒙特卡洛樹搜索”(Monte Carlo tree search,MCTS)的策略。MCTS 可以幫助 AI 模型識別並選擇場景生成的選項,以實現特定目標,例如讓場景儘可能真實,或在場景中添加更多物體。這一策略使得系統在訓練過程中能夠不斷學習,創建出日益複雜的場景。
MIT 的博士生兼 CSAIL 研究員尼古拉斯・帕夫(Nicholas Pfaff)表示,這個項目是首次將 MCTS 應用於場景生成,將場景生成任務視爲一種 “序列決策過程”。他說:“我們通過不斷構建部分場景,隨着時間的推移生成更好或更理想的場景。因此,MCTS 生成的場景比擴散模型訓練的場景更爲複雜。”
行業專家指出,這項工作可以彌補機器人學習中的一個主要短板,即高質量訓練數據的匱乏一直制約着技術的發展。亞馬遜機器人應用科學家傑里米・比納吉亞(Jeremy Binagia)表示:“可引導場景生成提供了更好的方法…… 保證了物理的可行性,並使得生成更加有趣的場景成爲可能。”
研究團隊表示,他們項目的優勢在於能夠爲工程師創建多樣化、可用的場景。帕夫補充道:“藉助我們的引導方法,我們能夠生成多樣化、真實且與任務相一致的場景,從而用於訓練我們的機器人。”
儘管該系統仍處於概念驗證階段,團隊希望未來能夠擴展更多的對象和環境,最終利用生成式 AI 創建全新的資產,而不僅僅依賴於固定的庫。通過擴大虛擬訓練場的多樣性和真實感,團隊也希望建立一個用戶社區,生成大量數據,爲機器人學習更廣泛的技能奠定基礎。
劃重點:
🌐 MIT 與豐田研究院合作推出新 AI 工具,增強機器人虛擬訓練能力。
🤖 新工具利用蒙特卡洛樹搜索技術生成複雜場景,推動機器人學習進步。
📈 未來希望擴展更多對象與環境,建立用戶社區支持機器人技能訓練。
