小紅書オープンソース大規模モデルの進展：華為昇騰が0Dayを完全対応し、パフォーマンス最適化を実現

最近、小紅書は完全な新オープンソース大規模モデル「dots3-note preview」を正式に公開しました。このシリーズの最初のバージョンとして、このモデルは280Bの総パラメータ数と16Bのアクティブパラメータ数を持ち、テキスト、ビジュアル、音声のすべてのモーダル感知と理解能力を備えています。推論、エージェント、マルチモーダルタスクにおいて、その性能は国内外のより大きなサイズの優れたモデルに匹敵しています。

モデルのリリース日当日、華為技術（Huawei）は迅速に、昇騰 Atlas800A3 および Atlas900A3SuperPoD スーパーノードがこのモデルに対して効率的な適応を完了し、vLLM Ascend オープンソース推論エンジンを通じて完全なデプロイと実行のサポートを提供していることを発表しました。

このモデルに対し、昇騰は全チェーンの深い最適化を展開し、マルチモーダル処理とインクリメンタルデコードの性能のボトルネックを重点的に克服しました。すべてのモーダルのエンドツーエンドの適応において、プラットフォームは視覚コーデッカー、音声特徴抽出、および大規模言語モデルの主干推論を成功裏に接続し、ネイティブなマルチモーダルインタラクションの安定性を確保しました。フレームワークの特性最適化においては、通信と計算の深く融合およびオペレーターの再構築を通じて、マルチカートの重複計算を完全に排除し、MoE構造の推論スループットを顕著に向上させました。

さらに、インクリメンタル推論段階における遅延の問題点に対し、昇騰はネイティブでMTP投機的デコード機能を適応させ、一度の前方向けに複数の候補トークンを並列生成し、検証と再利用を行うことで、デコードの前向回数を大幅に減少させました。このような一連の下層の最適化により、モデルの効率的かつ安定した動作を保障し、長距離の複雑なタスクシナリオにおけるスマートな導入のための堅固な計算力の基盤を築くことができました。