文章詳細分析了千億級參數大模型的算力需求。以浪潮信息自研的中文大模型源1.0爲例,它採用266臺8卡A100服務器,單卡計算效率達到44%,採用張量並行、流水線並行和數據並行的三維並行策略。文章提出要提高大模型性能,需要從框架、IO、通信等多個方面進行優化。與GPT-4相比,國內大模型在算力、算法、數據等方面還存在較大差距。需要繼續加大技術研發力度,以提升大模型的性能。