7B/8B 推理
推荐
NVIDIA · Ada Lovelace
NVIDIA L40S 48GB
适合中型 LLM、图像生成、计算机视觉和成本可控的生产推理。
技术规格
身份
| 供应商 | NVIDIA |
|---|---|
| 型号 | NVIDIA L40S 48GB |
| SKU | L40S |
| Architecture | Ada Lovelace |
| 硬件类别 | datacenter gpu |
内存
| VRAM | 48 GB |
|---|---|
| 内存类型 | GDDR6 ECC |
| 内存带宽 | 864 GB/s |
计算
| 精度 | 密集 | 启用稀疏 |
|---|---|---|
| FP32 | 91.6 TFLOPS | — |
| TF32 Tensor | 183 TFLOPS | 366 TFLOPS |
| BF16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP8 Tensor | 733 TFLOPS | 1466 TFLOPS |
| INT8 Tensor | 733 TOPS | 1466 TOPS |
平台
| 外形 / 接口 | PCIe dual-slot accelerator card |
|---|---|
| Interface | PCIe Gen4 x16 |
| TDP | 350 W |
| NVLink | 不支持 |
| NVSwitch | 不支持 |
| MIG | 不支持 |
| 每节点最大 GPU 数 | 8 |
软件
| CUDA | 支持 |
|---|---|
| 验证 | OFFICIAL_VENDOR |
| 来源 | www.nvidia.com |
工作负载适配
- LLM 推理很好
- LLM 微调适合
- 完整模型训练适合
- 图像 / 视频生成很好
- embedding / reranking优秀
框架
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
模型兼容指南
13B/14B 推理
建议使用量化，或检查 FP16/BF16 余量
30B/32B 推理
建议使用量化以保留生产余量
65B/70B 推理
通常需要多块 GPU 或更强量化
微调
适合 LoRA/QLoRA；完整微调取决于模型大小和拓扑
大规模训练
不是大规模分布式训练的首选
相关 GPU
NVIDIA L4 24GB
24 GB GDDR6 · Available
USD 250/月
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/月
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/月
AI GPU hosting 常见问题
这块 GPU 适合 LLM 推理吗？
适配度取决于模型、精度、上下文和并发。请使用推荐器按余量计算。
月租价格如何计算？
公开月租是已授权价格版本。小时等价从月价按 730 小时换算。
可以租多块 GPU 吗？
当库存和节点拓扑允许时，可以提供多 GPU 配置。