NVIDIAは7月2日に、大規模モデルが1つずつトークンを生成する速度が遅いという課題を解決するために、Nemotron-Labs-TwoTowerという離散拡散言語モデルをリリースしました。関連する重みはHuggingfaceでオープンソース化されています。このモデルは既存のNemotronの骨格ネットワークを改造したもので、事前学習済みの重みを再利用し、ゼロから完全に訓練する必要がなく、開発コストを大幅に削減しています。

image.png

60Bの二塔構造で、分業して並列処理により生成効率を向上

モデル全体のパラメータ数は60Bで、2つの30Bの独立したニューラルネットワークに分割され、協力して動作します。それぞれの塔は3Bのパラメータを活性化し、128個のルーティング可能なエキスパートモジュールを搭載しています。文脈塔は固定されており、全文の意味情報を保持します。ノイズ除去塔は専門的にトレーニングされ、拡散メカニズムを利用してテキストを並列に生成し、両方の塔はクロスアテンションによってデータをやり取りします。

従来のモデルはトークンごとに直列に出力していましたが、二塔構造ではテキストを並列に書き込むことができ、推論のスループットを大幅に向上させ、速度と出力効果の両方を維持できます。さまざまなベンチマークテストの結果によると、モデルの総合的な能力は元のバージョンの98.7%に達しており、テキスト生成のスループットは2.42倍に向上していますが、コードや数学のタスクではわずかに低下しています。

オープンソース化により、多様なシナリオでの推論配置に対応

このモデルはNVIDIA固有のオープンソースライセンスで重みが公開されており、開発者は自由にダウンロードしてテストや商用配備を行うことができます。実行には2枚のH100またはA100 80GBのGPUが必要で、1枚のGPUでは純粋な自己回帰モードのみがサポートされます。二塔の完全な推論には2枚のGPUが協力して動作する必要があります。テストは常識、数学、コード、読解などの複数のタスクをカバーしており、多くの指標は元のバージョンとほぼ同等であり、生成速度とコンテンツ品質のバランスが取れています。