Hugging Face發佈新一代小參數模型 SmolLM3：128K上下文,雙模式推理

AIbase基地

發布於AI新聞資訊 · 1 分鐘閱讀 · Jul 9, 2025

近日，全球知名的大模型開放平臺 Hugging Face 正式發佈了其最新開源模型 ——SmolLM3。這款模型擁有30億參數，儘管參數量相對較小，但其性能顯著超過了同類的開源模型，如 Llama-3.2-3B 和 Qwen2.5-3B。

SmolLM3不僅支持128k 的上下文窗口，還能夠流暢處理英語、法語、西班牙語、德語等多種語言的文本，標誌着在小參數模型領域的又一重要進展。

多種推理模式，靈活應對需求

SmolLM3具備深度思考和非思考兩種推理模式，用戶可以根據實際需要靈活切換。這一創新設計讓模型在處理複雜問題時，能夠更好地發揮其推理能力，尤其是在需要深入分析的場景下。

開源架構，助力研究與優化

值得注意的是，Hugging Face 對 SmolLM3的架構細節、數據混合方法以及模型訓練流程均進行了公開。這一開放策略將極大地促進開發者們對該模型的研究與優化，推動開源 AI 模型的進一步發展。

模型架構與訓練配置

SmolLM3採用了先進的 transformer 解碼器架構，借鑑了 SmolLM2的設計，同時對 Llama 進行了關鍵性改進，以提升效率和長上下文的表現。具體而言，模型使用了分組查詢注意力機制和文檔內掩碼技術，以確保長上下文訓練的有效性。

在訓練配置方面，SmolLM3的參數量爲3.08B，使用了36層的深度結構，優化器爲 AdamW，經過24天的分佈式訓練，最終形成了強大的模型。

三階段混合訓練，提升能力

該模型的訓練過程分爲三個階段，利用多種類型的數據進行混合訓練。在第一階段，模型通過網絡、數學和代碼數據的綜合訓練建立通用能力;第二階段則引入更高質量的數學與代碼數據;最後，在第三階段中，模型進一步增強了對數學與代碼數據的採樣，提升了其推理和指令遵循能力。

隨着 SmolLM3的發佈，Hugging Face 再一次鞏固了其在 AI 領域的領先地位。此模型不僅具備強大的推理能力，還以其高效的性能爲開發者提供了豐富的應用前景。未來，隨着更多的開源研究與社區合作，SmolLM3有望在各類應用場景中發揮更大的作用。

基礎模型:https://huggingface.co/HuggingFaceTB/SmolLM3-3B-Base

推理和指導模型:https://huggingface.co/HuggingFaceTB/SmolLM3-3B

Moonvalley發佈Marey Realism v1.5：原生1080P AI視頻模型，零版權風險引領行業新風向！

Moonvalley發佈全新AI視頻生成模型Marey Realism v1.5，具備三大核心優勢：原生1080P高清畫質，基於授權訓練數據確保零版權風險，以及精準解讀複雜提示的創作能力。該模型支持文本/圖像轉視頻，能生成電影級運動光影效果，未來還將推出姿勢傳遞功能。這一突破性產品爲影視製作、廣告創意等領域提供了安全高效的AI創作工具，推動行業技術升級。

ChatGPT 推出新功能 “Study Together”，助力教育發展

ChatGPT正在測試名爲"Study Together"的新教育功能，該功能已向部分訂閱用戶開放。這項創新採用互動式學習模式，鼓勵用戶主動思考而非被動獲取答案，與OpenAI對谷歌LearnLM的迴應類似。新功能可能支持多人協作學習，有望降低AI被用作作弊工具的風險。雖然具體細節尚未公佈，但該功能展現了ChatGPT在教育領域的拓展潛力，或將改變傳統學習方式，促進更深層次的知識探索。

美團再度投資具身智能領域，星海圖完成超1億美元融資

具身智能公司星海圖完成超1億美元A輪系列融資，美團龍珠、今日資本領投。公司估值較年初增長3倍，累計融資近15億元，資金將用於VLA模型研發及產能擴張。核心團隊由Waymo前工程師領銜，已推出EFM-1雙系統架構，整合視覺語言與動作模型。美團持續加碼具身智能賽道，近年已投資宇樹科技等多家頭部企業。行業仍處基建期，星海圖通過分階段融資適應市場節奏，推動智能製造成果轉化。（140字）

英偉達與港大等合作推出快速 KV 緩存，助力擴散模型提速

英偉達聯合港大、MIT推出Fast-dLLM技術，顯著提升擴散語言模型推理效率。該技術通過創新的塊狀KV緩存機制，將LLaDA模型推理速度提升27.6倍，同時採用置信度解碼策略保證生成質量。測試顯示，在數學推理等任務中，模型吞吐量達54.4tokens/s，準確率保持78.5%，實現速度與質量的雙重突破。