微軟訓練微型語言模型進展顯著

微軟研究人員在一篇論文中介紹了一種訓練微小語言模型的新方法:用兒童故事進行訓練。相比訓練大型語言模型,這種方法訓練速度更快,內部工作機制也更易理解。研究顯示,經過兒童故事訓練後的微型語言模型,能夠講述連貫、符合語法的故事,表現出色。這種方法有助於分析語言模型的行爲,也爲訓練更大型模型提供了研究方向。研究人員表示,訓練微型語言模型就像測序果蠅基因組而不是人類基因組,是探索語言模型的有效途徑。