NVIDIA-Nemotron-3-Super-120B-A12B-FP8
nvidia/NVIDIA-Nemotron-3-Super-120B-A12B-FP8
官方 · FP8 · safetensors
已验证运行环境: Transformers TensorRT-LLM
| 精度 / 量化 | 格式 | 位数 | 发布者可信度 | 部署状态 |
|---|---|---|---|---|
| FP8 | safetensors | 8 | 官方 | 已验证运行环境 |
总参数120.0B
激活参数12.0B
上下文窗口262,144 tokens
版本状态近期 · 近期
架构NemotronHForCausalLM
模态文本
许可证NVIDIA Nemotron 开放模型许可证
部署状态具备认证配置，可部署
商业状态允许有条件的商业使用
发布日期2026-03-10
架构、优势与用途
NVIDIA Nemotron 3 Super 120B-A12B 是 NVIDIA 在 NVIDIA Nemotron 通用分支中的官方可自托管版本，采用 NemotronHForCausalLM、120B / 12B MoE，认证上下文为 262,144 Token。
NVIDIA Nemotron 3 Super 120B-A12B 使用 NemotronHForCausalLM 和 120B / 12B MoE。官方资料发布时记录 88 层、隐藏维度 4096 和 32 个注意力头。
已验证的 NemotronHForCausalLM 架构
262,144 Token 认证上下文
官方检查点来源
私有 LLM 推理
智能体工作流
长文档处理
已认证检查点与量化
仅显示与此版本关联并经来源认证的精确变体。
推荐硬件
仅使用与精确检查点精度匹配的认证运行时组合。硬件排序会检查权重、KV 缓存、开销、GPU 架构与拓扑。
估算权重内存115.11 GB
KV 缓存0.34 GB
运行时开销37.77 GB
含安全余量总计190 GB
推荐性价比方案
3× NVIDIA H100 SXM 80GB
240 GB 总 VRAM · nvswitch
50 GB 余量 · 可用
USD 5,580 / 月最低成本可行方案
2× NVIDIA H200 SXM 141GB
282 GB 总 VRAM · nvswitch
92 GB 余量 · 容量有限
USD 4,690 / 月最高性能
2× NVIDIA H200 SXM 141GB
282 GB 总 VRAM · nvswitch
92 GB 余量 · 容量有限
USD 4,690 / 月许可证与自托管注意事项
全部 120 B 常驻权重必须装入所选 GPU；上下文与并发会增加 KV 缓存。
NVIDIA Nemotron 3 Super 120B-A12B 采用 NVIDIA Nemotron 开放模型许可证发布，并保留版本级官方 URL 与验证日期。
允许有条件的商业使用. 商业使用附带条件。部署前请查看所链接的官方条款。
替代方案与同代变体
NVIDIA Nemotron 3 Ultra 550B-A55B, NVIDIA Nemotron 3.5 Lightning 30B-A3B, NVIDIA-Nemotron-3-Ultra-550B-A55B-NVFP4
发布历程
nvidia/nemotron/nemotron-3-super-120b-a12b
常见问题
NVIDIA Nemotron 3 Super 120B-A12B 需要多少 VRAM？
估算取决于精度、上下文和并发，并使用认证数据。
哪些运行时支持 NVIDIA Nemotron 3 Super 120B-A12B？
transformers, tensorrt-llm 已有认证的上游证据。
NVIDIA Nemotron 3 Super 120B-A12B 可用于商业用途吗？
存储分类为允许有条件的商业使用；请查阅官方 NVIDIA Nemotron 开放模型许可证条款。
官方来源
最近验证: 2026-08-26