李飛飛團隊提出機器訓練新方法“數字表親” 花錢更少效果更好

一直以來，我們都夢想着擁有像人類一樣聰明的機器人，能幫我們做家務，能陪我們聊天，甚至能像鋼鐵俠的賈維斯一樣無所不能。但是，理想很豐滿，現實很骨感。教會機器人做事，可不是拍拍腦袋就能搞定的，那難度堪比教女朋友講道理，費勁還不一定有效果。

爲什麼呢?因爲現實世界太複雜了，充滿各種意外和變化。你想想，連你教女朋友一個簡單的道理都得費盡口舌，更何況是教一個沒有人類思維的機器人呢?

傳統的機器人訓練方法，要麼成本太高，需要在現實世界中反覆試驗，還可能造成安全隱患;要麼效果太差，在模擬環境中訓練出來的機器人，一到現實世界就抓瞎，跟個智障兒童似的。

爲了解決這個問題，斯坦福大學的研究人員提出了一個天才的想法:數字表親。

什麼是數字表親?

簡單來說，數字表親就是現實世界物體的虛擬替身。 你可以把它理解成一個高仿版的數字模型，它跟現實物體長得差不多，功能也差不多，但不需要完全一致。

比如，一個現實世界中的櫥櫃，它的數字表親也應該有類似的把手和抽屜佈局，但材料和細節可以不一樣。 同樣，一個現實世界的廚房，它的數字表親也應該有類似的傢俱擺放，但具體的模型可以略有不同。

爲什麼要搞這個數字表親呢?因爲它有兩個巨大的優勢:

• 降低成本:數字表親不需要像數字孿生那樣精確地複製現實世界，所以製作起來更簡單、更便宜。

• 增強魯棒性:一個現實物體可以有多個數字表親，這些表親之間可以有細微的差異，這就相當於給機器人提供了更多樣化的訓練數據，讓它學習應對各種變化。

如何自動生成數字表親?

斯坦福大學的研究人員開發了一個名爲ACDC的系統，可以自動從一張RGB圖像生成數字表親場景。 這套系統簡直是懶人福音，你只需要拍張照片，它就能幫你生成一個虛擬的訓練場，讓你的機器人可以在裏面盡情玩耍。

ACDC系統的工作流程大致分爲三步:

• 提取信息:從輸入的RGB圖像中提取出物體的掩膜、深度信息等。

• 匹配表親:根據提取的信息，從數據庫中找到與現實物體最相似的數字模型，並根據物體類別和特徵調整模型的尺寸和方向。

• 生成場景:將匹配好的數字模型組合在一起，生成一個完整的虛擬場景，並進行物理上的調整，確保場景的穩定性和合理性。

數字表親真的有用嗎?

斯坦福大學的研究人員進行了一系列實驗，結果表明，用數字表親訓練出來的機器人表現更出色:

• 模擬環境:在模擬環境中，用數字表親訓練的機器人，在完成開門、開抽屜、放碗等任務時，成功率更高，而且對不同型號的傢俱也更適應。 相比之下，用數字孿生訓練的機器人，一旦遇到沒見過的傢俱，就容易犯傻。

• 現實世界:在現實世界中，用數字表親訓練的機器人，能夠直接應用到現實場景中，無需額外的微調。 而用數字孿生訓練的機器人，則需要進行額外的調整才能適應現實世界的差異。

數字表親技術的出現，爲機器人學習打開了一扇新的大門。 未來的機器人，將會更加智能、更加靈活，能夠更好地適應複雜多變的現實世界。

當然，這項技術目前還有一些侷限性，比如數據庫中模型的數量和種類還不夠豐富，對一些特殊情況的處理還不夠完善。 但隨着技術的進步和數據的積累，這些問題都將逐步得到解決。

總而言之，數字表親技術前景光明，它將推動機器人技術邁向一個新的高度。 在不久的將來，我們或許真的能夠擁有像人類一樣聰明的機器人夥伴。

項目地址：https://digital-cousins.github.io/

論文地址：https://arxiv.org/pdf/2410.07408