IT之家 10 月 4 日消息,IBM 当地时间 2 日宣布推出 Granite 4.0 系列企业级 LLM 模型,新一代的模型采用 Mamba-Transformer 混合架构,可在不牺牲性能的前提下大幅降低内存需求,这降低了推理部署的成本。
Granite 4.0 系列模型的首发型号包括 Small、Tiny、Micro 规模的标准和指令变体(规格参见下方列表),未来其它参数规模版本和推理变体则将在 2025 年底推出。
IBM 表示混合架构的设计能在长输入和多并发场景下减少 70% 的内存需求。性能方面,即使是最小的 Granite 4.0 模型在基准测试中也明显优于 Granite 3.3 8B,而 Granite-4.0-H-Small 则以较小参数规模取得了开源模型中一流的表现。
IBM 以标准 Apache 2.0 许可开源 Granite 4.0 系列模型,这些模型得到了 ISO 42001 认证并经过加密签名。
上一篇:刚刚!AI,突传重磅!