本稿では、数百億パラメータの大規模言語モデルに必要な計算能力について詳細に分析します。浪潮信息が独自開発した中国語大規模言語モデル「源1.0」を例に挙げると、266台の8カードA100サーバーを使用し、単カード計算効率は44％に達し、テンソル並列、パイプライン並列、データ並列の3次元並列戦略を採用しています。大規模言語モデルの性能向上のためには、フレームワーク、IO、通信など複数の側面からの最適化が必要であると本稿では述べています。GPT-4と比較すると、中国の言語モデルは計算能力、アルゴリズム、データなどの面で大きな差があります。大規模言語モデルの性能向上のためには、技術開発をさらに強化する必要があります。