近日，IBM AI 團隊推出了 Granite4.0Nano 系列，這是一個專爲本地和邊緣推理而設計的小型模型家族，旨在爲企業提供更強的控制能力和開源許可。該系列包含8個模型，分爲350M 和約1B 兩種規模，採用混合 SSM 和變換器架構，支持基本和指令兩種模式，所有模型均在 Apache2.0許可下發布，且能夠在 vLLM、llama.cpp 和 MLX 等流行運行時環境中原生運行。

Granite4.0Nano 系列包括四條模型線及其基礎版本。其中，Granite4.0H1B 採用混合 SSM 架構，參數數量約爲1.5B;而 Granite4.0H350M 同樣採用混合方法，參數數量爲350M。爲了確保最大的運行時兼容性，IBM 還提供了 Granite4.01B 和 Granite4.0350M 的變換器版本。

這些 H 變體模型交替使用 SSM 層和變換器層設計，這種混合結構在內存增長方面相較於純變換器有顯著優勢，同時保持了變換器模塊的通用性。Granite4.0Nano 模型沒有采用減少數據管道，而是遵循與大規模 Granite4.0模型相同的訓練方法，使用超過15萬億個標記進行訓練，並經過指令調整，以提高工具使用和指令遵循能力。

image.png

IBM 還將 Granite4.0Nano 與其他同類模型進行了比較，包括 Qwen、Gemma 和 LiquidAI LFM，結果顯示在通用知識、數學、代碼及安全性等領域，Granite4.0Nano 的表現顯著提升。此外，該系列模型在代理任務上也在 IFEval 和伯克利函數調用排行榜第3版中表現出色。

這些模型經過 ISO42001認證，並且以加密簽名的形式發佈，確保了企業級使用所需的可追溯性和治理能力。用戶可以通過 Hugging Face 和 IBM watsonx.ai 訪問這些模型，並在邊緣、本地和瀏覽器級別上進行部署，幫助早期 AI 工程師和軟件團隊更好地實現項目。

huggingface:https://huggingface.co/collections/ibm-granite/granite-40-nano-language-models

劃重點:  

🔹 IBM 發佈了 Granite4.0Nano 系列，包含8個模型，適用於邊緣 AI 推理。  

🔹 該系列模型基於超過15萬億個標記進行訓練，確保了性能的繼承性。  

🔹 所有模型均經過 ISO42001認證，並具有企業級治理能力，支持多種運行環境。