近日，IBM AI 团队推出了 Granite4.0Nano 系列，这是一个专为本地和边缘推理而设计的小型模型家族，旨在为企业提供更强的控制能力和开源许可。该系列包含8个模型，分为350M 和约1B 两种规模，采用混合 SSM 和变换器架构，支持基本和指令两种模式，所有模型均在 Apache2.0许可下发布，且能够在 vLLM、llama.cpp 和 MLX 等流行运行时环境中原生运行。

Granite4.0Nano 系列包括四条模型线及其基础版本。其中，Granite4.0H1B 采用混合 SSM 架构，参数数量约为1.5B;而 Granite4.0H350M 同样采用混合方法，参数数量为350M。为了确保最大的运行时兼容性，IBM 还提供了 Granite4.01B 和 Granite4.0350M 的变换器版本。

这些 H 变体模型交替使用 SSM 层和变换器层设计，这种混合结构在内存增长方面相较于纯变换器有显著优势，同时保持了变换器模块的通用性。Granite4.0Nano 模型没有采用减少数据管道，而是遵循与大规模 Granite4.0模型相同的训练方法，使用超过15万亿个标记进行训练，并经过指令调整，以提高工具使用和指令遵循能力。

image.png

IBM 还将 Granite4.0Nano 与其他同类模型进行了比较，包括 Qwen、Gemma 和 LiquidAI LFM，结果显示在通用知识、数学、代码及安全性等领域，Granite4.0Nano 的表现显著提升。此外，该系列模型在代理任务上也在 IFEval 和伯克利函数调用排行榜第3版中表现出色。

这些模型经过 ISO42001认证，并且以加密签名的形式发布，确保了企业级使用所需的可追溯性和治理能力。用户可以通过 Hugging Face 和 IBM watsonx.ai 访问这些模型，并在边缘、本地和浏览器级别上进行部署，帮助早期 AI 工程师和软件团队更好地实现项目。

huggingface:https://huggingface.co/collections/ibm-granite/granite-40-nano-language-models

划重点:  

🔹 IBM 发布了 Granite4.0Nano 系列，包含8个模型，适用于边缘 AI 推理。  

🔹 该系列模型基于超过15万亿个标记进行训练，确保了性能的继承性。  

🔹 所有模型均经过 ISO42001认证，并具有企业级治理能力，支持多种运行环境。