Granite 4.0 Small、Tiny 和 Micro 发布

• IBM 于 2025 年 10 月 2 日以 Apache 2.0 许可发布 Granite 4.0,提供 Base 和 Instruct 两种变体、三种规模:Granite-4.0-H-Small 是总参数 32B、激活参数 9B 的混合专家模型;H-Tiny 总参数 7B、激活参数 1B;H-Micro 则是 3B 的稠密混合模型^[1]
• Granite-4.0-Micro 是采用传统 Transformer 架构的 3B 稠密模型,面向尚不支持混合设计的平台提供^[1]
• 混合模型以 9:1 的比例交错堆叠 Mamba-2 层和 Transformer 层,IBM 称这使长输入和多并发会话下的 RAM 占用降低 70% 以上;“H”模型不使用位置编码^[1][2]
• IBM 将其定位为面向智能体工作的成本优选方案:IBM 称,在 Stanford HELM 的 IFEval 上,Granite-4.0-H-Small 超过除 4020 亿参数的 Llama 4 Maverick 之外的所有开放权重模型,并在 Berkeley Function Calling Leaderboard v3 上与大得多的模型不相上下;以上为厂商自报结果^[1]
• IBM 称,Granite 成为首个获得 ISO/IEC 42001 认证的开放模型系列,对 Hugging Face 上的每个 4.0 检查点进行加密签名,并运行 HackerOne 漏洞赏金计划,最高奖励 10 万美元^[1][2]

主要特点

• 兼容 AMD Instinct MI-300X GPU,并通过与 Qualcomm Technologies 和 Nexa AI 的合作兼容 Qualcomm Hexagon NPU^[1]
• Tiny 和 Small 是 IBM 首批带有始终处于激活状态的共享专家的混合专家模型^[1]
• 早期访问测试者包括 EY 和洛克希德·马丁;IBM 计划在 2025 年底前推出更大和更小的规模以及推理变体^[1]
• 可在 watsonx.ai、Hugging Face、Docker Hub、Kaggle、LM Studio、NVIDIA NIM、Ollama、Replicate 和戴尔平台上使用,SageMaker JumpStart 和 Azure AI Foundry 列为即将支持^[1]