跳到主要内容

IBM Granite · 通用 · Granite 4.2

Granite 4.2 3B:规格、GPU 需求、托管与部署

Granite 4.2 3B 是 IBM Granite 家族通用分支中的当前版本,并由官方修订认证。

Granite 4.2 3B 技术部署示意图
参考部署流程;精确架构事实另行列出。
总参数3.0B
激活参数密集模型
上下文窗口131,072 tokens
版本状态当前 · 当前
架构GraniteForCausalLM
模态文本
许可证Apache 2.0 许可证
部署状态具备认证配置,可部署
商业状态允许商业使用
发布日期2026-08-25

架构、优势与用途

Granite 4.2 3B 是 IBM 在 IBM Granite 通用分支中的官方可自托管版本,采用 GraniteForCausalLM、3B,认证上下文为 131,072 Token。

Granite 4.2 3B 使用 GraniteForCausalLM 和 3B。官方资料发布时记录 40 层、隐藏维度 2560 和 40 个注意力头。

已验证的 GraniteForCausalLM 架构
131,072 Token 认证上下文
官方检查点来源
私有 LLM 推理
智能体工作流
长文档处理

已认证检查点与量化

仅显示与此版本关联并经来源认证的精确变体。

granite-4.2-3b

ibm-granite/granite-4.2-3b

官方 · BF16 · safetensors

已验证运行环境: SGLang Transformers vLLM

精度 / 量化格式位数发布者可信度部署状态
BF16safetensors16官方已验证运行环境

推荐硬件

仅使用与精确检查点精度匹配的认证运行时组合。硬件排序会检查权重、KV 缓存、开销、GPU 架构与拓扑。

估算权重内存5.76 GB
KV 缓存0.63 GB
运行时开销5.87 GB
含安全余量总计15.19 GB

推荐性价比方案

1× NVIDIA A100 SXM 80GB

80 GB 总 VRAM · nvlink

64.81 GB 余量 · 可用

USD 915 / 月

最低成本可行方案

1× NVIDIA L4 24GB

24 GB 总 VRAM · pcie

8.81 GB 余量 · 可用

USD 250 / 月

最高性能

1× NVIDIA H200 SXM 141GB

141 GB 总 VRAM · nvswitch

125.81 GB 余量 · 容量有限

USD 2,345 / 月

许可证与自托管注意事项

全部 3 B 常驻权重必须装入所选 GPU;上下文与并发会增加 KV 缓存。

Granite 4.2 3B 采用 Apache 2.0 许可证发布,并保留版本级官方 URL 与验证日期。

允许商业使用. 官方许可允许商业使用,但仍须遵守其全部义务。

替代方案与同代变体

Granite 4.2 30B, Granite 4.2 8B, Granite 4.1 30B

发布历程

ibm/granite/granite-4-2-3b

来源详情

官方来源

来源修订版本: dd9a1fe61833ecf5e9963237b60da9469bf3d5cf750bd93cde2c2997bb74da98

常见问题

Granite 4.2 3B 需要多少 VRAM?

估算取决于精度、上下文和并发,并使用认证数据。

哪些运行时支持 Granite 4.2 3B?

transformers, vllm, sglang 已有认证的上游证据。

Granite 4.2 3B 可用于商业用途吗?

存储分类为允许商业使用;请查阅官方 Apache 2.0 许可证条款。

官方来源

最近验证: 2026-08-26