比较 GPU
使用同一套价格、库存和规格数据比较 2-4 个公开 GPU。
| GPU |
NVIDIA H100 PCIe 80GB |
|---|---|
| 月租 | USD 1,579/月 |
| 小时等价 | ~ USD 2.16/小时 |
| 显存 | 80 GB HBM2e |
| 架构 | Hopper |
| 带宽 | 2,000 GB/s |
| 外形 | PCIe dual-slot accelerator card |
| 接口 | PCIe Gen5 x16 |
| TDP | 350 W |
| FP64 | 26 TFLOPS 密集 |
| FP64 Tensor | 51 TFLOPS 密集 |
| FP32 | 51 TFLOPS 密集 |
| TF32 | 378 TFLOPS 密集 / 756 TFLOPS 稀疏 |
| BF16 | 756.5 TFLOPS 密集 / 1513 TFLOPS 稀疏 |
| FP16 | 756.5 TFLOPS 密集 / 1513 TFLOPS 稀疏 |
| FP8 | 1513 TFLOPS 密集 / 3026 TFLOPS 稀疏 |
| INT8 | 1513 TOPS 密集 / 3026 TOPS 稀疏 |
| MIG | 最多 7 个 MIG，每个 10 GB |
| NVLink | 600 GB/s NVLink Bridge |
| 可用性 | 容量有限 |
| 框架 | PyTorch, TensorFlow, JAX, Hugging Face, vLLM, TensorRT, ONNX Runtime, CUDA |
| 模型兼容指南 | 推荐用于量化推理；需要检查上下文和并发 |
| 操作 | 配置并租用 |