在2025年消費電子展(CES)上,NVIDIA 發佈了全新的 Cosmos 平臺,該平臺旨在加速物理人工智能(AI)系統的開發,尤其是自主駕駛車輛和機器人。Cosmos 平臺集成了生成式世界基礎模型(WFM)、視頻標記器、安全防護機制以及一個加速的數據處理管道,這些功能幫助開發者在減少對真實世界數據依賴的情況下創建和優化 AI 模型。
Cosmos 平臺將以開放模型許可的形式在 Hugging Face 和 NVIDIA NGC 目錄中提供,後續將推出經過優化的 NVIDIA NIM 微服務,並通過 NVIDIA AI 企業軟件平臺提供企業支持。
NVIDIA 首席執行官黃仁勳在展會上表示:“機器人技術即將迎來像 ChatGPT 那樣的轉折時刻。與大型語言模型一樣,世界基礎模型是推動機器人和自主駕駛車輛發展的核心,但並非所有開發者都有能力和資源來訓練自己的模型。我們創建 Cosmos 就是爲了讓物理 AI 的開發更加普及,讓每個開發者都能接觸到通用機器人技術。”
Cosmos 模型可以根據文本、圖像和傳感器數據生成基於物理的高清視頻,使其適用於視頻搜索、合成數據生成和強化學習等應用。開發者能夠定製模型以模擬工業環境、駕駛場景以及其他特定用例。此外,NVIDIA 還推出了 NeMo Curator,這是一個加速視頻處理管道,能夠在14天內處理2000萬小時的視頻數據,以及 Cosmos Tokeniser,這是一個視覺數據壓縮工具。
Agility Robotics 的首席技術官 Pras Velagapudi 指出:“數據稀缺性和變異性是機器人環境成功學習的關鍵挑戰。Cosmos 的文本、圖像和視頻到世界的能力使我們能夠生成和增強各種任務的場景,從而在不需要過多昂貴的真實數據捕獲的情況下訓練模型。”
多家主要的機器人和運輸公司,包括 Agile Robots、XPENG、Waabi 和 Uber,已經開始採用 Cosmos 進行 AI 開發。Uber 首席執行官 Dara Khosrowshahi 表示:“生成式 AI 將驅動未來的出行,既需要豐富的數據,也需要強大的計算能力。通過與 NVIDIA 的合作,我們有信心幫助加速安全、可擴展的自主駕駛解決方案的進程。”
除了 Cosmos,NVIDIA 還推出了 Llama Nemotron 大型語言模型和 Cosmos Nemotron 視覺語言模型,專爲醫療、金融和製造等行業的企業使用而開發。
官方博客:https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-world-foundation-model-platform-to-accelerate-physical-ai-development
劃重點:
🌍 Cosmos 平臺旨在加速自主駕駛車輛和機器人的開發,減少對真實數據的依賴。
🚀 開發者可以根據需求定製模型,生成多種應用場景的視頻數據。
🤖 多家機器人和運輸公司已開始使用 Cosmos,加速 AI 技術的實際應用。