4月29日、科大訊飛は新たなスターフラッシュX2-Flashモデルを正式に発表し、同時にAPIインターフェースを公開しました。これにより、国内の計算リソースエコシステムに基づく大規模モデルの応用が新しい効率の段階に入ったことを示しています。

このモデルは現在主流のMoE(Mix-of-Experts)アーキテクチャを採用しており、総パラメータ数は30Bに達しています。注目すべきは、256Kという非常に長いコンテキストをサポートしている点です。また、スターフラッシュX2-Flashは完全にHuawei昇騰910Bクラスターでトレーニングされています。これは、国内のソフトウェアとハードウェアがディープラーニングトレーニング分野で協調して機能できることを示しています。

image.png

コア性能において、スターフラッシュX2-Flashはエージェント(Agent)およびコード生成能力において顕著な強化がなされています。第三者によるテストデータによると、このモデルは深層的な研究レポートの処理、スキル管理と呼び出し、システム制御実行などの複雑なタスクにおいて、業界のトレンドとなるテラパラメータクラスのトップモデルと同等の性能を発揮しています。

開発者にとって関心のあるコストの面では、スターフラッシュX2-Flashは優れた性能を見せています。同様のワークフローテストにおいて、トークンの消費量は現在の主流の大規模モデルの約1/3にとどまっています。これにより、複雑なエージェントアプリケーションの構築の障壁が大幅に低下しました。例えば、複雑なビデオ生成スキルを作成する際には、モデルは要求を迅速に理解するだけでなく、スキル構造からコア機能に至るまで詳細な説明も提供できます。

image.png

技術的な裏側では、スターフラッシュX2-Flashは国内チップ上でDSA(疎な注目)とMTP(マルチトークン予測)技術の統合を最初に実現しました。このイノベーションは、長文を国内の計算リソースプラットフォームでトレーニングすることが遅いという課題を解決し、同じ規模のクラスターと比較してトレーニング効率が4.5倍向上しました。また、エージェントの強化学習の場面では、アルゴリズムと工学の両方での最適化を通じて、サンプリングと推論効率が2倍以上向上し、長時間のインタラクションシーンにおけるパフォーマンスのボトルネックを効果的に緩和しました。