京东は最近、注目すべき技術的な進展を発表しました。それは、国内のチップを基盤とした独自開発された大規模モデルの推論エンジン「xLLM」のオープンソース化です。このエンジンの登場により、企業が人工知能（AI）アプリケーションを展開する際、より高いパフォーマンスと低いコストで運用することが可能になります。これにより、業界のスマート化への推進がさらに加速される見込みです。

xLLMエンジンの主な特徴は多岐にわたります。まず、リクエストの優先順位に基づく動的スケジューラーが挙げられます。この機能は、さまざまなリクエストの重要性に応じて計算リソースをスマートに割り当て、重要なタスクを優先して処理します。また、このエンジンは動的適応可能なPD分離アーキテクチャを備えており、リアルタイムでの負荷状況に応じて処理インスタンスの比率を調整し、リソースの最適利用を実現します。さらに、xLLMはマルチモーダルなシナリオに特に適しており、EPDハイブリッド分離スケジューラーを搭載しており、複雑なAIアプリケーションに対してもより柔軟な解決策を提供します。

image.png

技術的な構造において、xLLMはハードウェアの特性に基づいた複数段階のパイプライン実行エンジンを備えています。これにより、異なる種類のタスクを効率的に処理することが可能です。また、開発者たちは図の統合、予測的推論および動的ロードバランスを含む計算最適化キットを開発しており、これによりAI推論の効率が大幅に向上します。システム性能をさらに高めるために、xLLMはMooncakeを利用して複数段階のKVキャッシュのグローバル管理システムを構築しており、データ処理の流れをより滑らかにしています。

京东はこの技術が自社の小売コアビジネスから生まれており、すでに京东AIアシスタント、スマートカスタマーサービス、リスク管理およびサプライチェーンアシスタントなどの多くのシナリオで成功裏に適用されていると述べています。このシステムにより、効率は5倍以上向上し、機械のコストは90％も削減されています。これはすべて、xLLMの大きな潜在力を示しています。

「私たちは、AIインフラストラクチャのエコシステムの構築には、すべての開発者の貢献が不可欠であると考えています。オープンソースは第一歩であり、今後もコミュニティのニーズに応じて、より高度な機能を開放し、清华大学、北京大学、中国科学技術大学などの産学研パートナーとともに、国内のAIインフラストラクチャ技術の革新と発展を共同で推進していきます」と、京东リテールのAIインフラストラクチャチームは語っています。

xLLMのオープンソース化により、開発者はこの強力な推論エンジンを体験する機会を得られ、中国のAI技術エコシステムの発展に貢献できるようになります。