大規模モデルの生成効率を追求する道のりにおいて、NVIDIAは最近新たな解決策を提示しました。7月1日、NVIDIAは最新のNemotron-Labs-TwoTower拡散言語モデルを正式にオープンソース化し、アーキテクチャのイノベーションを通じて従来の自己回帰（AR）モデルのスループットのボトルネックを打ち破ることを目的としています。

従来の自己回帰モデルでは、テキスト生成処理において1つのトークンずつ直列的にデコードする必要があり、大規模な合成タスクに対しては効率が不十分です。NVIDIAが提案した「ダブルタワー」アーキテクチャは、別のアプローチを取り入れ、タスクを2つの部分に分割します。一つは凍結状態を維持する「コンテキストタワー」となり、これはプロンプトを処理し、既存の言語理解能力を保持します。もう一つは特定のトレーニングを受けた「ノイズ除去タワー」となり、これは並列的にトークンを生成し最適化することを専門とします。

このアーキテクチャ設計の巧妙な点は、「品質」と「速度」のバランスを取っていることです。2×H100GPUの評価環境において、このモデルはデフォルト設定でベースラインモデルの98.7％の生成品質を維持できました。実際の生成スループットは2.42倍も顕著に向上しています。これは、バッチで合成テキストを生成する必要があるデータチームにとって、高性能かつ高効率のツールであることを示しています。

具体的な動作において、このモデルは非常に柔軟性があり、拡散モード、シミュレートされたAR、および標準的なARの3つのデコード方式をサポートしています。開発者はタスクの要件に応じて自由に選択できます。現在、このモデルはオープンウェイトプロジェクトとして公開されており、NVIDIA Nemotronオープンモデルライセンス協定に従っており、商用利用を完全にサポートしています。