バイトダンスのSeedチームは、実験的な拡散言語モデル「Seed Diffusion Preview」をリリースしました。これは、言語モデル分野での重要な技術的突破を示しています。このモデルは、構造化されたコード生成の実験を通じて、離散的な拡散技術ルートが次の世代の言語モデルの基本フレームワークとしての可能性を検証することを目的としています。Seed Diffusion Previewは、推論速度において顕著な向上を遂げ、1秒あたり2146トークンに達し、同等規模の自己回帰モデルと比較して5.4倍の高速さを実現しました。また、複数のコード生成ベンチマークテストで、自己回帰モデルと同等の性能を示しました。

Seed Diffusion Previewのリリースは、自己回帰（AR）モデルの推論速度やグローバルコントロールの限界を解決することを目的としています。拡散モデルは、粗いものから精緻なものへと生成するアプローチにより、画像や動画合成などの連続データ領域で大きな成功を収めています。しかし、自然言語などの離散領域に拡散モデルを適用することは根本的な課題を伴っており、主な理由は標準的な拡散プロセスと離散状態空間との不適合性です。それでも、離散拡散モデルは拡張性と効果において大きな潜在能力を示しています。

微信截图_20250801103209.png

これらの課題に対応するために、Seed Diffusion Previewは4つの主要な技術革新を採用しています。2段階のコース学習、制約付き順序拡散、同戦略学習、およびブロックレベルの並列拡散サンプリング方式です。2段階のコース学習戦略には、マスクベースの拡散トレーニングと編集ベースの拡散トレーニングが含まれており、モデルの局所的な文脈補完能力和全体的なコードの合理性評価能力を向上させることを目的としています。制約付き順序拡散は、コードの構造化された事前知識を導入することで、モデルが正しい依存関係を把握できるようにします。同戦略学習は、生成ステップ数を最適化することで、モデルの推論速度を向上させます。ブロックレベルの並列拡散サンプリング方式は、因果順序を保持しつつ、効率的なブロックレベルの推論を実現します。

実験の結果、Seed Diffusion Previewはコード推論速度で1秒あたり2146トークンに達し、同等規模の自己回帰モデルと比較して5.4倍の速度向上を達成しました。この速度の向上は品質の低下を伴わず、モデルは業界の複数のベンチマークで優れた自己回帰モデルと同等の性能を示し、コード編集などのタスクではそれを上回りました。この成果は、離散拡散モデルが推論加速において潜在能力を示していることを証明するとともに、複雑な推論タスクにおける応用の可能性も示しています。

プロジェクトページ: https://seed.bytedance.com/seed_diffusion

体験リンク: https://studio.seed.ai/exp/seed_diffusion