加州大學聖地亞哥分校和麻省理工學院的研究員們搞了一個叫Open-TeleVision的項目，聽起來有點酷炫。這個玩意兒是一種開源的遠程操作系統，號稱能讓你從3000英里外輕鬆操控機器人，還能精準地玩弄各種物體，活脫脫就是電影《阿凡達》裏的那種高科技場景。

先來說說這個系統的適配性，真是無敵了。你只要有Vision Pro、Quest、Mac、iPad、iPhone這些設備中的任何一個，就能輕鬆上手。它支持實時立體視頻流，能讓你對空間和深度一目瞭然，操控起來簡直是絲滑順暢，根本停不下來。

核心理念

這個Open-TeleVision系統最大的賣點，就是通過VR頭顯，你可以隔空操控機器人，不需要其他任何穿戴設備。它模擬了人類的雙目立體視覺和活動頸部，讓你感覺自己就是機器人，沉浸感爆棚。

技術亮點

  • 沉浸式體驗:告別傳統2D視頻的平庸，VR頭顯讓你看到的是3D視頻，左右眼圖像不同，形成自然的立體視覺，空間距離精確無比。

  • 活動頸部:機器人有個活動頸部，模擬人眼的聚焦方式，你只需轉轉頭，就能觀察不同區域，操作起來就跟玩兒似的。

  • 計算效率:專注圖像中心的小部分，減少高分辨率廣角圖像的處理需求，計算效率和系統幀率直線上升。

實現方法

  • 使用逆運動學算法，把VR頭顯提供的API映射到機器人身上，實現動作的精確傳遞。

  • 系統基於Web平臺，隨時隨地用任何設備的瀏覽器訪問，低延遲高效能，遠程操作毫無壓力。

遙操作的挑戰與解決方案

  • 自由度匹配:通過Mapping過程，解決人形機器人和人體自由度不匹配的問題，幾乎任何機器人都能找到合適的映射方式。

  • 數據採集與學習:通過遙操作方式採集的數據訓練機器人自主完成任務，效果顯著，系統的可靠性和泛化能力槓槓的。

項目地址:https://github.com/Improbable-AI/VisionProTeleop