人工知能の推論効率のボトルネックが、新たな技術的突破を迎えています。6月28日、北京大学とディープ・クエリ（DeepSeek）は共同で大規模モデルの推論加速フレームワーク「DSpark」を公開し、大言語モデルが高同時接続の推論環境において頻繁に前方計算を実行することにより発生する応答遅延や演算力の浪費という課題を解決することを目的としています。

大言語モデルの標準的な自己回帰生成プロセスでは、システムが1つの単語（トークン）を出力するごとに完全な演算リソースを使用します。これは対話のリアルタイム応答速度に直接影響を与えています。推測デコードが現在業界で主流の高速化手法であるにもかかわらず、従来の方法には明確な欠点があります。単純なモデルによるシーケンシャルな生成は時間がかかりやすく、並列モデルでは長文の処理において候補の受け入れ率が低下する傾向があり、結果的に多くの演算力が無駄になります。

image.png

こうした問題点に対し、DSparkは二重の最適化メカニズムを導入しています。候補生成フェーズでは、半自己回帰アーキテクチャを採用し、並列メインネットワークを通じて一括で高品質な基本特徴を出力し、軽量モジュールによってテキストの論理を最適化しています。これにより、わずか2層のTransformer構造でも5層の並列モデルよりも優れた性能を達成でき、速度と品質の間に巧みなバランスを取っています。検証スケジューリングにおいては、信頼度に基づくスケジューリング検証メカニズムを導入しており、ハードウェア感知型プレフィックススケジューラーがリアルタイムで演算負荷を判断し、信頼性が高いテキストブロックを優先して処理することで、無駄な計算を最大限に減らしています。

通義千問3、Gemma4などの主要モデルを対象に、コード作成、数学的推論、日常会話などの多様なシナリオで厳格なテストを行った結果、DSparkの性能は非常に優れています。Eagle3およびDFlashという業界の主流基準モデルと比較すると、単一ラウンドでの有効生成長さにおいて明らかに優位であり、特に長文生成タスクにおいては、候補の有効性の低下を大幅に緩和しています。

実装面では、研究チームは深くシステムレベルの最適化を施しました。シーケンスのパッキングによりメモリ消費を削減し、非同期スケジューリングモードを設計してGPUパイプラインの遅延を解消し、主流のCUDAハードウェアエコシステムとの互換性を確保しています。現在、DSparkはDeepSeek-V4-FlashおよびDeepSeek-V4-Proのプレビュー版サービスエンジンに先行して実装されています。実機テストのデータによると、どの応答速度の基準でも、システム全体のスループットが飛躍的に向上しています。

今後、ディープ・クエリはGitHubDeepSpecプロジェクトでDSpark、DFlashおよびEagle3のすべてのトレーニングコード、モデルの重み付け、評価ツールをオープンソース化する予定です。この取り組みにより、業界における高性能推論サービスの展開コストが大幅に低下し、大規模モデルの低コスト普及のために現実的な技術モデルを提供することが期待されます。