最近、アリババ・チュンワンチームはマルチモーダルなMoEモデル「Qwen3.8-Flash」を正式に発表し、同時に次世代の基盤アーキテクチャ「Qwen3.8-Flash-Next」を開発しました。このアーキテクチャは、新世代のQwen4シリーズモデルの原型です。

Qwen3.8-Flashの総パラメータ数は125Bで、さらに51BのN-gram Embeddingを搭載していますが、1トークンあたりは6Bのパラメータのみがアクティブになります。モデルは26万トークンのコンテキストをネイティブにサポートしており、YaRN技術により最大100万トークンまで拡張可能です。コスト面での優位性が顕著で、トレーニングコストは前バージョンのQwen3.7-Plusの約1/9に抑えられています。APIの料金は入力100万トークンあたり1元、出力は3元で、すでに千問AIプラットフォームにリリースされ、「千問オフィス」機能も同時リリースされました。

QQ20260827-092838.png

アーキテクチャ面では、4つの主要なアップグレードが行われました。注目モジュールにはGDN+QSAの混合構造が採用されており、GDNは履歴情報を圧縮し、QSAは重要な文脈を抽出します。100万トークンのシナリオにおいて、PrefillとDecodeの最高速度はそれぞれ7.6倍と4.9倍に向上しています。ゲート付き残差メカニズムにより、残差フローは4本の並列ブランチに拡張され、動的ゲート制御によって階層間の情報伝達が最適化され、トレーニングの安定性が向上しています。N-gram Embeddingは局所的な文脈に基づくテーブル検索によりモデル容量を拡張し、追加された51Bのパラメータは計算負荷をほとんど増やしません。トレーニングではMuonとAdamWの混合最適化戦略が採用され、Scaling Lawを再適合させ、バッチのウォームアッププロセスを省略しています。

多数のベンチマークテストによると、6Bのアクティブパラメータを活かして、ベースモデルは14項目の評価で8項目で最優秀の成績を収めました。ファインチューニングバージョンはコード、スマートエージェント、マルチモーダルタスクで突出した性能を発揮しており、SWE-bench Proでは62.5点を記録、CoWorkBenchやToolathlonなどのスマートエージェントランキングでは他モデルを大幅に上回っています。

現在、Qwen3.8-Flash-Nextの重みはHugging FaceとModelScopeでオープンソース化されており、完全な技術報告書も公開されています。チュンワンチームはアーキテクチャを事前に公開し、コミュニティの力を借りて革新案の検証を行い、継続的な技術の改善を通じてQwen4シリーズモデルの開発を着実に進めていきたいと考えています。