英偉達近日發佈了其全新的 Nemotron 3 系列，這一系列產品結合了 Mamba 和 Transformer 兩種架構，旨在高效處理長時間上下文窗口，同時減少資源消耗。Nemotron 3 系列專爲基於代理的人工智能系統設計，這類系統能夠自主執行復雜任務，持續進行長時間的交互。

新產品系列包括三個型號：Nano、Super 和 Ultra。當前 Nano 型號已正式上市，而 Super 和 Ultra 預計將在 2026 年上半年推出。英偉達在這次發佈中打破了傳統的純 Transformer 架構，採用了一種混合架構，這種架構將高效的 Mamba 層與 Transformer 元素及混合專家（MoE）技術相結合。與傳統的純 Transformer 模型相比，Nemotron 3 能更好地處理長輸入序列，同時保持內存使用穩定。

Nemotron 3 支持高達一百萬個令牌的上下文窗口，這使其與 OpenAI 和 Google 等前沿模型相匹配，可以在不對硬件造成過大壓力的情況下，存儲大量的信息，比如整個代碼庫或長時間的對話歷史。Nano 型號具有 316 億個參數，但在每個處理步驟中，只有 30 億個參數處於激活狀態。根據人工智能分析指數（AII）的基準測試，Nemotron 3 在準確率上可與 gpt-oss-20B 和 Qwen3-30B 相媲美，並且在令牌吞吐量上表現更爲出色。

英偉達還爲更強大的 Super 和 Ultra 型號引入了兩項重要架構改進。第一項是 LatentMoE，它旨在解決標準 MoE 模型中內存帶寬的開銷問題，允許系統在處理令牌之前將其投影到壓縮的潛在表示中。第二項改進是多詞元預測（MTP）技術，在訓練過程中可以同時預測多個詞元，從而提高文本生成速度和邏輯推理能力。

此外，英偉達發佈了 Nano 型號的權重、訓練方案和多個數據集，包括基於 Common Crawl 的 Nemotron-CC-v2.1 等，這爲開發者提供了強大的支持。此次發佈符合英偉達致力於開發更小型語言模型的戰略，以優先考慮速度而非原始性能。

劃重點：  

🌟 Nemotron 3 系列結合 Mamba 和 Transformer 架構，提升 AI 代理處理效率。  

🚀 Nano 型號已上市，Super 和 Ultra 預計於 2026 年上半年推出。  

📊 英偉達發佈模型權重和訓練數據集，助力開發者創新。