微软训练微型语言模型进展显著

微软研究人员在一篇论文中介绍了一种训练微小语言模型的新方法:用儿童故事进行训练。相比训练大型语言模型,这种方法训练速度更快,内部工作机制也更易理解。研究显示,经过儿童故事训练后的微型语言模型,能够讲述连贯、符合语法的故事,表现出色。这种方法有助于分析语言模型的行为,也为训练更大型模型提供了研究方向。研究人员表示,训练微型语言模型就像测序果蝇基因组而不是人类基因组,是探索语言模型的有效途径。