科學家創新技術成功訓練ChatGPT級別萬億參數模型

科學家利用全球最強超級計算機成功訓練ChatGPT級別模型，僅使用8%計算能力。該突破來自Oak Ridge National Laboratory，研究團隊採用創新技術在Frontier超級計算機上訓練了萬億參數的語言模型。通過分佈式訓練和並行技術，實現了100%弱擴展效率。然而，訓練大型語言模型仍面臨挑戰，需要解決內存問題。研究爲未來訓練巨大語言模型提供經驗，突顯了分佈式訓練和並行計算的關鍵作用。