現在、大規模モデルの規模とサービス需要が継続的に増加する中で、自己回帰デコードの高いコストを低減することが業界における大きな課題となっています。このため、騰訊（テンセント）技術チームは統合訓練フレームワークAngelSpecを正式にオープンソース化しました。これは、複数の解決策を協調し、作業負荷の異質な適応を通じて、大規模モデルが現実的なシナリオでの推論スループットを全体的に向上させることを目的としています。

異なるシナリオにおいてテキスト特徴の違いに対応するために、AngelSpecは差別化されたトレーニング戦略を採用しています。高エントロピーでオープンなマルチホップ対話タスクでは、軽量で安定した多トークン予測メカニズム（MTP）を使用し、トレーニング時のテスト（TTT）およびエンドツーエンドの総変動損失を組み合わせ、自己回帰展開中の状態分布に効果的に適応します。一方、構造的制約がより強いコード生成や数学的推論タスクに対しては、独自のブロック拡散モデルを強化して使用し、長距離の予測可能なシーケンスの潜在力を最大限に引き出します。

image.png

アーキテクチャ設計において、このフレームワークはDFlyというイノベーションブロック拡散フレームワークを提案しています。これは、混合目標条件符号化の骨格と前段条件自己回帰ヘッドを組み合わせることで、高いスループットの並列生成を維持しつつ、目標特徴利用率とブロック内依存モデリングを大幅に最適化します。また、システムには動的検証メカニズムが導入されており、現在のオンライン負荷、ハードウェア条件、およびプレフィックス信頼度を考慮して、実行時に検証深度を自適応的に調整することで、計算リソースとスループット効率のバランスを実現します。

image.png

Hy3モデルシリーズのシステムテストにおいて、DFlyを搭載した方案は顕著な性能優位性を示しました。4から64までの并发数において、すべてのテストで最高の平均スループットを達成し、従来の自己回帰デコードよりも大きく向上し、大規模モデルの実装と効率的な推論のために堅固なオープンソースツールを提供しています。

プロジェクトアドレス:https://github.com/Tencent/AngelSpec

論文:https://arxiv.org/pdf/2607.25852