近日，Hugging Face正式推出全新開源語言模型 SmolLM3，一款擁有3B參數的輕量級大語言模型（LLM），以其卓越性能和高效設計引發行業廣泛關注。SmolLM3不僅在多項基準測試中超越同級別的Llama-3.2-3B和Qwen2.5-3B，甚至與更大規模的4B參數模型Gemma3性能相當。

image.png

地址：https://huggingface.co/blog/smollm3

3B參數，性能直逼4B模型

SmolLM3是一款3B參數的解碼器專用Transformer模型，採用分組查詢注意力（GQA）和NoPE技術優化，兼顧高效推理和長上下文處理能力。模型在11.2萬億token的多樣化數據集上進行預訓練，涵蓋網頁、代碼、數學和推理數據，確保其在知識、推理、數學和編碼等領域的強大表現。根據官方披露，SmolLM3在HellaSwag、ARC、BoolQ等知識與推理基準測試中名列前茅，與4B參數模型如Qwen3-4B和Gemma3-4B相比毫不遜色，展現了小模型的驚人潛力。

 雙模式推理，靈活應對多樣任務

SmolLM3引入了獨特的雙模式推理功能，支持“思考”（think）和“非思考”(no-think)兩種模式。在開啓思考模式後，模型在複雜任務如AIME2025(36.7% vs9.3%)、LiveCodeBench(30.0% vs15.2%)和GPQA Diamond(41.7% vs35.7%)等測試中表現出顯著提升。這種靈活的推理模式使其能夠根據任務需求動態調整，兼顧速度與深度推理，滿足從快速問答到複雜問題求解的多種場景。

 支持128K上下文，六種語言無縫切換

SmolLM3在長上下文處理上表現卓越，訓練時支持64K上下文，並通過YaRN技術可擴展至128K token，在Ruler64k測試中展現了強大的長序列處理能力。此外，模型原生支持六種語言（英語、法語、西班牙語、德語、意大利語、葡萄牙語），並在阿拉伯語、漢語和俄語上進行了少量訓練，展現出多語言任務的優異性能。在Global MMLU、Flores-200等測試中，SmolLM3的多語言能力位居同級別模型前列，爲全球化應用場景提供了可靠支持。

 完全開源，賦能開發者生態

Hugging Face一貫秉持開源精神，SmolLM3不僅公開了模型權重，還完整開源了訓練數據混合、訓練配置和代碼，開發者可通過Hugging Face的smollm存儲庫獲取詳細資料。這種透明的“訓練藍圖”極大降低了學術研究和商業應用的門檻，允許開發者基於公開數據集和框架復現或優化模型。AIbase認爲，這一舉措將進一步推動開源AI生態的繁榮，爲邊緣設備部署和定製化應用提供更多可能性。

 高效設計，邊緣設備新選擇

SmolLM3專爲高效推理設計，採用分組查詢注意力機制顯著減少推理時的KV緩存佔用，結合WebGPU支持，使其非常適合在瀏覽器或邊緣設備上運行。相較於更大規模的模型，SmolLM3在性能與計算成本之間找到“帕累託最優”平衡點，爲教育、編碼、客戶支持等場景提供了高性價比的解決方案。

 行業影響與未來展望

SmolLM3的發佈標誌着小規模語言模型在性能與效率上的重大突破。其開源特性、長上下文支持和多語言能力使其成爲學術研究、初創公司和中小型企業的理想選擇。AIbase預計，SmolLM3將在教育、客戶服務和本地化部署等領域掀起應用熱潮，同時其完全開源的訓練流程也將激勵更多開發者參與到AI模型的優化與創新中。

SmolLM3以3B參數實現媲美4B模型的性能，展現了小模型在高效AI領域的無限潛力。Hugging Face通過開源訓練細節和數據，爲行業樹立了透明與協作的典範。我們期待SmolLM3在更多實際場景中的應用表現，並將持續關注其後續更新。

結語

SmolLM3的推出不僅證明了“小型模型，大能量”的可能性，也爲開源AI社區注入了新的活力。無論是開發者還是企業用戶，這款高效、多功能的模型都值得一試。