Inferencia 7B/8B
Recomendado
NVIDIA · Ada Lovelace
NVIDIA L40S 48GB
Equilibrado para LLM medianos, generación de imágenes, visión computacional e inferencia de producción.
Alquiler mensual
USD 506/mes
~ USD 0.69/hora basado en un mes de 730 horas
Disponibilidad: Available
Comparar GPUsEspecificaciones técnicas
Identidad
| Proveedor | NVIDIA |
|---|---|
| Modelo | NVIDIA L40S 48GB |
| SKU | L40S |
| Architecture | Ada Lovelace |
| Clase de hardware | datacenter gpu |
Memoria
| VRAM | 48 GB |
|---|---|
| Tipo de memoria | GDDR6 ECC |
| Ancho de banda de memoria | 864 GB/s |
Cómputo
| Precisión | Denso | Con dispersión |
|---|---|---|
| FP32 | 91.6 TFLOPS | — |
| TF32 Tensor | 183 TFLOPS | 366 TFLOPS |
| BF16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP8 Tensor | 733 TFLOPS | 1466 TFLOPS |
| INT8 Tensor | 733 TOPS | 1466 TOPS |
Plataforma
| Formato / interfaz | PCIe dual-slot accelerator card |
|---|---|
| Interface | PCIe Gen4 x16 |
| TDP | 350 W |
| NVLink | No compatible |
| NVSwitch | No compatible |
| MIG | No compatible |
| GPU máx. por nodo | 8 |
Software
| CUDA | Compatible |
|---|---|
| Verificación | OFFICIAL_VENDOR |
| Fuente | www.nvidia.com |
Adecuación de carga
- Inferencia LLMMuy bueno
- Fine-tuning LLMAdecuado
- Entrenamiento completoAdecuado
- Generación de imagen / vídeoMuy bueno
- Embeddings / rerankingExcelente
Frameworks
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
Guía de compatibilidad del modelo
Inferencia 13B/14B
Recomendado con cuantización o revisión de margen FP16/BF16
Inferencia 30B/32B
Recomendado con cuantización para mantener margen de producción
Inferencia 65B/70B
Normalmente requiere varias GPU o cuantización más fuerte
Fine-tuning
Adecuado para LoRA/QLoRA; el fine-tuning completo depende del modelo y la topología
Entrenamiento grande
No es la opción principal para entrenamiento distribuido grande
GPUs relacionados
NVIDIA L4 24GB
24 GB GDDR6 · Available
USD 250/mes
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/mes
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/mes
Preguntas sobre hosting GPU IA
¿Esta GPU sirve para inferencia LLM?
La idoneidad depende del modelo, precisión, contexto y concurrencia. Use el recomendador para dimensionar con margen.
¿Cómo se calcula el precio mensual?
El precio mensual público es la versión autorizada. El equivalente por hora deriva del precio mensual con una base de 730 horas.
¿Puedo alquilar varias GPU?
Las configuraciones multi-GPU son posibles cuando el inventario y la topología del nodo lo permiten.