Inferencia 7B/8B
Recomendado
NVIDIA · Hopper
NVIDIA H100 PCIe 80GB
Adecuado para inferencia 70B cuantizada, fine-tuning LoRA y servicio de alto rendimiento.
Alquiler mensual
USD 1,579/mes
~ USD 2.16/hora basado en un mes de 730 horas
Disponibilidad: Limited capacity
Comparar GPUsEspecificaciones técnicas
Identidad
| Proveedor | NVIDIA |
|---|---|
| Modelo | NVIDIA H100 PCIe 80GB |
| SKU | H100 PCIe |
| Architecture | Hopper |
| Clase de hardware | datacenter gpu |
Memoria
| VRAM | 80 GB |
|---|---|
| Tipo de memoria | HBM2e |
| Ancho de banda de memoria | 2000 GB/s |
Cómputo
| Precisión | Denso | Con dispersión |
|---|---|---|
| FP64 | 26 TFLOPS | — |
| FP64 Tensor | 51 TFLOPS | — |
| FP32 | 51 TFLOPS | — |
| TF32 Tensor | 378 TFLOPS | 756 TFLOPS |
| BF16 Tensor | 756.5 TFLOPS | 1513 TFLOPS |
| FP16 Tensor | 756.5 TFLOPS | 1513 TFLOPS |
| FP8 Tensor | 1513 TFLOPS | 3026 TFLOPS |
| INT8 Tensor | 1513 TOPS | 3026 TOPS |
Plataforma
| Formato / interfaz | PCIe dual-slot accelerator card |
|---|---|
| Interface | PCIe Gen5 x16 |
| TDP | 350 W |
| NVLink | 600 GB/s NVLink Bridge |
| NVSwitch | No compatible |
| MIG | Hasta 7 MIG de 10 GB |
| GPU máx. por nodo | 8 |
Software
| CUDA | Compatible |
|---|---|
| Verificación | OFFICIAL_VENDOR |
| Fuente | www.nvidia.com |
Adecuación de carga
- Inferencia LLMMuy bueno
- Fine-tuning LLMMuy bueno
- Entrenamiento completoMuy bueno
- Generación de imagen / vídeoMuy bueno
- Embeddings / rerankingExcelente
Frameworks
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
Guía de compatibilidad del modelo
Inferencia 13B/14B
Recomendado con cuantización o revisión de margen FP16/BF16
Inferencia 30B/32B
Recomendado con cuantización para mantener margen de producción
Inferencia 65B/70B
Recomendado para inferencia cuantizada; revise contexto y concurrencia
Fine-tuning
Adecuado para LoRA/QLoRA; el fine-tuning completo depende del modelo y la topología
Entrenamiento grande
Use nodos multi-GPU con topología de alto ancho de banda
GPUs relacionados
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/mes
NVIDIA A100 SXM 80GB
80 GB HBM2e · Available
USD 915/mes
NVIDIA L40S 48GB
48 GB GDDR6 ECC · Available
USD 506/mes
Preguntas sobre hosting GPU IA
¿Esta GPU sirve para inferencia LLM?
La idoneidad depende del modelo, precisión, contexto y concurrencia. Use el recomendador para dimensionar con margen.
¿Cómo se calcula el precio mensual?
El precio mensual público es la versión autorizada. El equivalente por hora deriva del precio mensual con una base de 730 horas.
¿Puedo alquilar varias GPU?
Las configuraciones multi-GPU son posibles cuando el inventario y la topología del nodo lo permiten.