7B/8B 推理
推荐
NVIDIA · Ampere
NVIDIA A100 SXM 80GB
适合量化 70B 推理、LoRA 微调和高吞吐服务。
技术规格
身份
| 供应商 | NVIDIA |
|---|---|
| 型号 | NVIDIA A100 SXM 80GB |
| SKU | A100 SXM 80GB |
| Architecture | Ampere |
| 硬件类别 | datacenter gpu |
内存
| VRAM | 80 GB |
|---|---|
| 内存类型 | HBM2e |
| 内存带宽 | 2039 GB/s |
计算
| 精度 | 密集 | 启用稀疏 |
|---|---|---|
| FP64 | 9.7 TFLOPS | — |
| FP64 Tensor | 19.5 TFLOPS | — |
| FP32 | 19.5 TFLOPS | — |
| TF32 Tensor | 156 TFLOPS | 312 TFLOPS |
| BF16 Tensor | 312 TFLOPS | 624 TFLOPS |
| FP16 Tensor | 312 TFLOPS | 624 TFLOPS |
| INT8 Tensor | 624 TOPS | 1248 TOPS |
平台
| 外形 / 接口 | SXM module |
|---|---|
| Interface | PCIe Gen4 x16 host interface |
| TDP | 400 W |
| NVLink | 600 GB/s NVLink |
| NVSwitch | 支持 |
| MIG | 最多 7 个 MIG，每个 10 GB |
| 每节点最大 GPU 数 | 8 |
软件
| CUDA | 支持 |
|---|---|
| 验证 | OFFICIAL_VENDOR |
| 来源 | www.nvidia.com |
工作负载适配
- LLM 推理很好
- LLM 微调很好
- 完整模型训练很好
- 图像 / 视频生成很好
- embedding / reranking优秀
框架
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
模型兼容指南
13B/14B 推理
建议使用量化，或检查 FP16/BF16 余量
30B/32B 推理
建议使用量化以保留生产余量
65B/70B 推理
推荐用于量化推理；需要检查上下文和并发
微调
适合 LoRA/QLoRA；完整微调取决于模型大小和拓扑
大规模训练
使用高带宽拓扑的多 GPU 节点
相关 GPU
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/月
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/月
NVIDIA L40S 48GB
48 GB GDDR6 ECC · Available
USD 506/月
AI GPU hosting 常见问题
这块 GPU 适合 LLM 推理吗？
适配度取决于模型、精度、上下文和并发。请使用推荐器按余量计算。
月租价格如何计算？
公开月租是已授权价格版本。小时等价从月价按 730 小时换算。
可以租多块 GPU 吗？
当库存和节点拓扑允许时，可以提供多 GPU 配置。