Inferência 7B/8B
Recomendado
NVIDIA · Hopper
NVIDIA H200 SXM 141GB
Ideal para modelos grandes, contexto longo, fine-tuning pesado e cargas de IA intensivas em memória.
Aluguer mensal
USD 2,345/mês
~ USD 3.21/hora com base num mês de 730 horas
Disponibilidade: Capacidade limitada
Comparar GPUsEspecificações técnicas
Identidade
| Fornecedor | NVIDIA |
|---|---|
| Modelo | NVIDIA H200 SXM 141GB |
| SKU | H200 SXM |
| Architecture | Hopper |
| Classe de hardware | datacenter gpu |
Memória
| VRAM | 141 GB |
|---|---|
| Tipo de memória | HBM3e |
| Largura de banda da memória | 4800 GB/s |
Computação
| Precisão | Denso | Com esparsidade |
|---|---|---|
| FP64 | 34 TFLOPS | — |
| FP64 Tensor | 67 TFLOPS | — |
| FP32 | 67 TFLOPS | — |
| TF32 Tensor | 494.5 TFLOPS | 989 TFLOPS |
| BF16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP8 Tensor | 1979 TFLOPS | 3958 TFLOPS |
| INT8 Tensor | 1979 TOPS | 3958 TOPS |
Plataforma
| Formato / interface | SXM module |
|---|---|
| Interface | PCIe Gen5 x16 host interface |
| TDP | 700 W |
| NVLink | 900 GB/s NVLink |
| NVSwitch | Suportado |
| MIG | Até 7 MIGs de 18 GB |
| GPU máx. por nó | 8 |
Software
| CUDA | Suportado |
|---|---|
| Verificação | OFFICIAL_VENDOR |
| Fonte | www.nvidia.com |
Adequação à carga
- Inferência LLMExcelente
- Fine-tuning LLMExcelente
- Treino completoExcelente
- Geração de imagem / vídeoExcelente
- Embeddings / rerankingExcelente
Frameworks
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
Guia de compatibilidade do modelo
Inferência 13B/14B
Recomendado com quantização ou revisão de margem FP16/BF16
Inferência 30B/32B
Recomendado com quantização para manter margem de produção
Inferência 65B/70B
Recomendado para inferência quantizada; rever contexto e concorrência
Fine-tuning
Adequado para LoRA/QLoRA; o fine-tuning completo depende do modelo e da topologia
Treino grande
Use nós multi-GPU com topologia de alta largura de banda
GPUs relacionados
NVIDIA H100 SXM 80GB
80 GB HBM3 · Disponível
USD 1,860/mês
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Capacidade limitada
USD 1,579/mês
NVIDIA A100 SXM 80GB
80 GB HBM2e · Disponível
USD 915/mês
Perguntas sobre alojamento GPU para IA
Esta GPU serve para inferência LLM?
A adequação depende do modelo, precisão, contexto e concorrência. Use o recomendador para dimensionar com margem.
Como é calculado o preço mensal?
O preço mensal público é a versão de preço autorizada. O equivalente horário deriva do preço mensal com base em 730 horas.
Posso alugar várias GPU?
Configurações multi-GPU são possíveis quando o inventário e a topologia do nó permitem.