NVIDIA H100 vs A100
对比厂商公布的规格与当前可租用库存。
差异仅来自经验证的内存、带宽、功耗、形态、精度、软件与真实库存。
| 字段 | NVIDIA H100 SXM 80GB | NVIDIA A100 SXM 80GB |
|---|---|---|
| 制造商 | NVIDIA | NVIDIA |
| 精确 SKU | H100 SXM | A100 SXM 80GB |
| 架构 | Hopper | Ampere |
| 代际 | Hopper | Ampere 数据中心 |
| 类别 | 数据中心 | 数据中心 |
| 生命周期 | 当前 | 上一代 |
| VRAM | 80 GB | 80 GB |
| 内存技术 | HBM3 | HBM2e |
| 带宽 | 3,350 GB/s | 2,039 GB/s |
| 功耗 | 700 W | 400 W |
| 接口 | PCIe Gen5 主机接口 | PCIe Gen4 主机接口 |
| 形态 | SXM · 模块 | SXM4 · 模块 |
| 互连 | NVLink | NVLink |
| MIG / 分区 | 支持 | 支持 |
| AI 数值精度格式 | FP64, FP32, TF32, BF16, FP16, FP8, INT8 | FP64, FP32, TF32, BF16, FP16, INT8, INT4 |
| 运行时生态 | cuda, vllm, sglang, tensorrt-llm | cuda, vllm, sglang, tensorrt-llm |
| 租赁可用性 | 可用 | 可用 |
| 月租价格 | USD 1,860 | USD 915 |
已验证差异
- NVIDIA H100 SXM 80GB 拥有最高记录内存带宽。
- NVIDIA A100 SXM 80GB 的公布功耗最低。
架构差异
经来源验证的事实：NVIDIA H100 SXM 80GB: Hopper / Hopper / SXM · 模块 · NVIDIA A100 SXM 80GB: Ampere / Ampere 数据中心 / SXM4 · 模块
VRAM 与内存需求
经来源验证的事实：NVIDIA H100 SXM 80GB: 80 GB / HBM3 / 3,350 GB/s · NVIDIA A100 SXM 80GB: 80 GB / HBM2e / 2,039 GB/s
功耗与散热
经来源验证的事实：NVIDIA H100 SXM 80GB: 700 W / SXM · 模块 · NVIDIA A100 SXM 80GB: 400 W / SXM4 · 模块
AI 精度支持
经来源验证的事实：NVIDIA H100 SXM 80GB: FP64, FP32, TF32, BF16, FP16, FP8, INT8 · NVIDIA A100 SXM 80GB: FP64, FP32, TF32, BF16, FP16, INT8, INT4
接口与互连
经来源验证的事实：NVIDIA H100 SXM 80GB: PCIe Gen5 主机接口 / NVLink · NVIDIA A100 SXM 80GB: PCIe Gen4 主机接口 / NVLink
多 GPU 注意事项
大型模型可能需要并行执行或多个节点。确定 GPU 数量前，应核对模型驻留内存、运行环境、互连方式、拓扑结构和容量余量。
模型与工作负载适配
适用性取决于模型版本、精度、运行环境、可用内存和拓扑结构。技术兼容并不代表存在可租用资源。
租赁可用性
经来源验证的事实：NVIDIA H100 SXM 80GB: 可用 / USD 1,860 / 月 · NVIDIA A100 SXM 80GB: 可用 / USD 915 / 月
官方来源
最近验证: 2026-08-25