谷歌正通過Gemini AI訓練機器人，提高導航和任務完成能力

AIbase

發布於AI新聞資訊 · 1 分鐘閱讀 · Jul 19, 2025

谷歌正在通過 Gemini AI 訓練其機器人，以提高導航和任務完成的能力。

DeepMind 機器人團隊在一篇新的研究論文中詳細解釋瞭如何利用 Gemini1.5Pro 的長上下文窗口來讓用戶更輕鬆地用自然語言指令與 RT-2機器人交互。通過拍攝指定區域的視頻遊覽，研究人員使用 Gemini1.5Pro 讓機器人 “觀看” 視頻以瞭解環境，從而使機器人能夠根據觀察到的情況執行命令，比如引導用戶到電源插座充電等。

DeepMind 表示，搭載 Gemini 的機器人在9000多平方英尺的操作區域內成功執行了50多個用戶指令，成功率達到90%。

此外，研究人員還發現 Gemini1.5Pro 讓機器人能夠計劃如何完成指令，不僅限於導航。例如，當一個桌子上放着很多可樂罐的用戶詢問機器人是否有他們最喜歡的飲料時，Gemini 讓機器人知道應該前往冰箱檢查，然後向用戶報告結果。DeepMind 表示將進一步調查這些結果。

根據研究論文顯示，雖然谷歌提供的視頻演示令人印象深刻，但根據論文所示，機器人處理這些指令需要10-30秒的時間。儘管我們可能需要一些時間才能與更先進的環境測繪機器人共享家園，但至少這些機器人可能能夠幫我們找到遺失的鑰匙或錢包。

劃重點:
🤖 Gemini AI 訓練機器人，提高導航和任務完成能力
🧠 Gemini1.5Pro 讓機器人能夠執行自然語言指令
🔍 研究發現 Gemini 讓機器人能夠計劃執行超出導航範圍的指令

新的Transformer加速技術FlashAttention-3發佈成本直線下降

全新Transformer加速技術FlashAttention-3發佈，顯著提升大型語言模型推理速度和降低運行成本。對比前版本，此更新大幅提高GPU利用率，訓練和運行速度提升1.5至2倍。採用低精度數字（FP8），保持高準確性同時大幅降低成本。處理長文本能力顯著增強，大幅優化了內存消耗與序列長度關係，特別是與大規模數據集和長序列的兼容性。技術亮點包括先進算法支持、Hopper GPU優化以及集成的多種先進技術，使模型性能和應用範圍大幅提升。安裝簡單，兼容CUDA11.6與PyTorch1.12以上版本，Linux下使用pip命令安裝，Windows用戶亦有指導文檔輔助。整體而言，FlashAttention-3提供高效性能、內存優化、先進特性和易用性，能夠在各種項目中便捷集成。

Heygen推對口型工具上傳照片+音頻即可說話、唱歌

AI照片“復活術”Heygen推出照片對口型工具，用戶上傳照片與音頻後，照片中人物可對應音頻內容進行說話、唱歌、朗讀，支持長達20秒音頻生成視頻，具備識別並同步主要聲音的特點。然而，目前該服務對中國區用戶有限制，導致用戶體驗受限。Heygen在當地受到關注，今年6月在一輪融資中以5億美元估值籌集了6000萬美元，獲得Benchmark等知名機構投資，並接入新董事會成員。至今已籌集7400萬美元，成爲了利用生成式AI成本更低、操作更簡捷進行影片製作領域的領先企業。體驗該工具的地址已公佈。

大語言模型推理能力被高估了在不熟悉場景中有很大的弱點

近期,麻省理工學院研究團隊對大型語言模型(LLMs)在不同任務下的表現進行了深入探討。研究發現,LLMs在熟悉任務上表現良好,但卻在面對非典型或未知情境時顯現出推理能力的嚴重侷限。通過比較“默認任務”與“反事實場景”,以及調整任務設計以測試模型反應,結果表明,儘管模型在十進制算術運算相當出色,但在非十進制環境以及音樂、空間推理和國際象棋等其他任務中表現出完全不同的表現。模型的不穩定表現和對訓練數據的直接記憶依賴,揭示了其在面對變動環境中較爲有限的邏輯應用能力。研究主要作者指出,LLMs更加擅長於在熟悉場景下利用已知信息,而非靈活運用邏輯推理處理環境變化。這一發現對未來模型設計具有重要意義,尤其是在適應性和多任務處理能力提升方面,並指出了研究領域的新方向,力圖構建更具普適性和魯棒性的AI模型原型,應對真實世界複雜多變的挑戰。當前研究的侷限性在於對候選模型評估的維度和環境的限制,未來需進一步擴大評估範圍,以全面揭示模型在真實世界應用中的潛在限制。