NVIDIAは最近、新しいNemotron 3シリーズを発表しました。この製品シリーズはMambaとTransformerの2つのアーキテクチャを組み合わせており、長時間のコンテキストウィンドウを効率的に処理し、リソース消費を減らすことを目的としています。Nemotron 3シリーズは、複雑なタスクを自律的に実行し、長時間にわたる対話を続けることができるエージェントベースの人工知能システム向けに設計されています。

新製品シリーズには3つのモデルが含まれます：Nano、Super、Ultra。現在、Nanoモデルは正式に販売されており、SuperおよびUltraは2026年上半期に発売される予定です。NVIDIAは今回の発表で従来の純粋なTransformerアーキテクチャを打ち破り、効率的なMambaレイヤーとTransformer要素、および混合専門家（MoE）技術を組み合わせたハイブリッドアーキテクチャを採用しています。従来の純粋なTransformerモデルに比べて、Nemotron 3は長い入力シーケンスをよりよく処理し、メモリ使用量を安定させることができます。

Nemotron 3は最大100万トークンのコンテキストウィンドウをサポートしており、OpenAIやGoogleなどの先進モデルと同等の性能を持ち、ハードウェアへの負荷を大きくすることなく大量の情報を格納できます。例えば、全体のコードベースや長時間の会話履歴などを保存することができます。Nanoモデルは316億のパラメータを持ちますが、各処理ステップでは30億のパラメータのみがアクティブになります。人工知能分析指数（AII）のベンチマークテストによると、Nemotron 3はgpt-oss-20BやQwen3-30Bと同様の正確性を達成でき、トークンスループットにおいても優れた性能を示します。

NVIDIAはさらに強力なSuperおよびUltraモデルのために2つの重要なアーキテクチャの改善を導入しました。1つ目はLatentMoEであり、これは標準的なMoEモデルにおけるメモリバンド幅のオーバーヘッド問題を解決するためのものです。これにより、システムはトークンを処理する前に圧縮された潜在表現に投影できるようになります。2つ目の改善は、マルチトークン予測（MTP）技術で、訓練中に複数のトークンを同時に予測することで、テキスト生成速度と論理的推論能力を向上させます。

また、NVIDIAはNanoモデルの重み、トレーニングプラン、そしてCommon Crawlに基づいたNemotron-CC-v2.1などの複数のデータセットを公開しました。これにより開発者に強力な支援が提供されます。今回のリリースは、NVIDIAがより小型の言語モデルを開発することに注力し、速度を性能よりも優先することを目的とした戦略と一致しています。

要点：

🌟 Nemotron 3シリーズはMambaとTransformerアーキテクチャを組み合わせ、AIエージェントの処理効率を向上させます。

🚀 Nanoモデルはすでに販売されており、SuperおよびUltraモデルは2026年上半期に発売される予定です。

📊 NVIDIAはモデルの重みとトレーニングデータセットを公開し、開発者のイノベーションを支援しています。