京东は2月14日にHugging Faceプラットフォーム上で、最新の大規模モデルであるJoyAI-LLM-Flashを正式にオープンソース化しました。このモデルのパラメータ総数は48億で、活性化パラメータは3億で、20兆のテキストトークンを用いて事前学習されており、優れた先進的な知識理解力、推論能力およびプログラミングスキルを示しています。

JoyAI-LLM-Flashは新しいFiberPO最適化フレームワークを使用しており、ファイバー束理論を強化学習に導入し、Muonオプティマイザーや密な複数トークン予測技術と組み合わせることで、従来のモデル拡大時の不安定性問題を解決しました。非MTPバージョンと比較して、そのスループットは1.3倍から1.7倍まで向上し、モデルのトレーニング効率と応用可能性を大幅に高めました。

このモデルのアーキテクチャは混合エキスパートモデル（MoE）であり、レイヤー数は40層で、コンテキスト長さは128K、語彙サイズは129Kをサポートしており、京东がAI分野で重要な進展を遂げたことを示しています。