OpenAI與DeepMind的Scaling Laws之爭

OpenAI和DeepMind在Scaling Laws研究中有不同觀點和方法。Scaling Laws能預測大模型在參數量、數據量和計算量變動時的損失變化。他們的競爭將推動人工智能的發展，影響人機共存的未來。在大語言模型的預訓練過程中，涉及模型大小、數據量、訓練成本的權衡博弈。Scaling Laws可以幫助優化設計決策。DeepMind提出模型大小和數據量應按相等比例擴展，而OpenAI傾向於選擇更大的模型。DeepMind開發了AlphaGo和AlphaFold，展示了深度強化學習和神經網絡的潛力，而OpenAI則開發了GPT系列模型，在生成式模型上展示了非凡能力。研究結論表明影響模型性能的三個要素相互影響，DeepMind的Chinchilla模型表現優異。國內的百川智能和明德大模型也在Scaling Laws研究中有所貢獻。DeepMind提出了Levels of AGI分類方法，揭示了人工智能不同發展階段。