學術頭條報道,來自清華大學、TAL AI Lab和智譜AI的研究者提出了20億參數語言模型MathGLM,用於探索大語言模型在數學推理方面的效率。該模型採用Transformer解碼器架構,在大規模算術數據集上訓練,數學運算能力得到顯著提升。實驗結果表明,MathGLM在一系列算術運算任務上的準確率接近100%,明顯優於GPT-4。即使參數量只有1億,MathGLM也優於GPT-4和ChatGPT。研究還發現,隨着參數量的增加,MathGLM的算術運算能力也在增強。在處理數字格式複雜的混合算術運算時,MathGLM也優於GPT-4和ChatGPT。該研究表明,語言模型在 Parameter 和數據量足夠大的條件下,可以準確地進行復雜的數學運算。