Hugging Face今天發佈了SmolLM2,一組新的緊湊型語言模型,實現了令人印象深刻的性能,同時所需的計算資源比大型模型少得多。新模型採用Apache2.0許可發佈,有三種大小——135M、360M和1.7B參數——適合部署在智能手機和其他處理能力和內存有限的邊緣設備上。
SmolLM2-1B模型在幾個關鍵基準測試中優於Meta的Llama1B模型,尤其是在科學推理和常識任務中表現出色。該模型在大多數認知基準上的表現都優於大型競爭模型,使用了包括FineWeb-Edu和專門的數學和編碼數據集在內的多樣化數據集組合。
SmolLM2的發佈正值人工智能行業努力應對運行大型語言模型(LLM)的計算需求的關鍵時刻。雖然OpenAI和Anthropic等公司不斷突破模型規模的界限,但人們越來越認識到需要能夠在設備本地運行的高效、輕量級人工智能。
SmolLM2提供了一種不同的方法,將強大的AI功能直接帶入個人設備,指向未來更多用戶和公司可以使用先進的AI工具,而不僅僅是擁有龐大數據中心的科技巨頭。這些模型支持一系列應用,包括文本重寫、摘要和函數調用,適合部署在隱私、延遲或連接限制使基於雲的AI解決方案不切實際的場景中。
雖然這些較小的模型仍然存在侷限性,但它們代表了更高效的人工智能模型的廣泛趨勢的一部分。SmolLM2的發佈表明,人工智能的未來可能不僅僅屬於越來越大的模型,而是屬於能夠以更少的資源提供強大性能的更高效的架構。