NVIDIA L40S vs H100
对比厂商公布的规格与当前可租用库存。
差异仅来自经验证的内存、带宽、功耗、形态、精度、软件与真实库存。
| 字段 | NVIDIA L40S 48GB | NVIDIA H100 SXM 80GB |
|---|---|---|
| 制造商 | NVIDIA | NVIDIA |
| 精确 SKU | L40S | H100 SXM |
| 架构 | Ada Lovelace | Hopper |
| 代际 | Ada 数据中心 | Hopper |
| 类别 | 数据中心 | 数据中心 |
| 生命周期 | 当前 | 当前 |
| VRAM | 48 GB | 80 GB |
| 内存技术 | GDDR6 ECC | HBM3 |
| 带宽 | 864 GB/s | 3,350 GB/s |
| 功耗 | 350 W | 700 W |
| 接口 | PCIe Gen4 x16 | PCIe Gen5 主机接口 |
| 形态 | 双槽 · PCIe · 加速器 | SXM · 模块 |
| 互连 | PCIe | NVLink |
| MIG / 分区 | 未列为支持 | 支持 |
| AI 数值精度格式 | FP32, TF32, BF16, FP16, FP8, INT8 | FP64, FP32, TF32, BF16, FP16, FP8, INT8 |
| 运行时生态 | cuda, vllm, sglang, tensorrt-llm | cuda, vllm, sglang, tensorrt-llm |
| 租赁可用性 | 可用 | 可用 |
| 月租价格 | USD 506 | USD 1,860 |
已验证差异
- NVIDIA H100 SXM 80GB 在本次选择中拥有最大 VRAM。
- NVIDIA H100 SXM 80GB 拥有最高记录内存带宽。
- NVIDIA L40S 48GB 的公布功耗最低。
架构差异
经来源验证的事实：NVIDIA L40S 48GB: Ada Lovelace / Ada 数据中心 / 双槽 · PCIe · 加速器 · NVIDIA H100 SXM 80GB: Hopper / Hopper / SXM · 模块
VRAM 与内存需求
经来源验证的事实：NVIDIA L40S 48GB: 48 GB / GDDR6 ECC / 864 GB/s · NVIDIA H100 SXM 80GB: 80 GB / HBM3 / 3,350 GB/s
功耗与散热
经来源验证的事实：NVIDIA L40S 48GB: 350 W / 双槽 · PCIe · 加速器 · NVIDIA H100 SXM 80GB: 700 W / SXM · 模块
AI 精度支持
经来源验证的事实：NVIDIA L40S 48GB: FP32, TF32, BF16, FP16, FP8, INT8 · NVIDIA H100 SXM 80GB: FP64, FP32, TF32, BF16, FP16, FP8, INT8
接口与互连
经来源验证的事实：NVIDIA L40S 48GB: PCIe Gen4 x16 / PCIe · NVIDIA H100 SXM 80GB: PCIe Gen5 主机接口 / NVLink
多 GPU 注意事项
大型模型可能需要并行执行或多个节点。确定 GPU 数量前，应核对模型驻留内存、运行环境、互连方式、拓扑结构和容量余量。
模型与工作负载适配
适用性取决于模型版本、精度、运行环境、可用内存和拓扑结构。技术兼容并不代表存在可租用资源。
租赁可用性
经来源验证的事实：NVIDIA L40S 48GB: 可用 / USD 506 / 月 · NVIDIA H100 SXM 80GB: 可用 / USD 1,860 / 月
官方来源
最近验证: 2026-08-25