7B/8B-Inferenz
Empfohlen
NVIDIA · Hopper
NVIDIA H200 SXM 141GB
Geeignet für große Modelle, langen Kontext, schweres Fine-Tuning und speicherintensive KI-Workloads.
Monatliche Miete
USD 2,345/Monat
~ USD 3.21/Stunde basierend auf einem 730-Stunden-Monat
Verfügbarkeit: Limited capacity
GPUs vergleichenTechnische Daten
Identität
| Anbieter | NVIDIA |
|---|---|
| Modell | NVIDIA H200 SXM 141GB |
| SKU | H200 SXM |
| Architecture | Hopper |
| Hardwareklasse | datacenter gpu |
Speicher
| VRAM | 141 GB |
|---|---|
| Speichertyp | HBM3e |
| Speicherbandbreite | 4800 GB/s |
Rechenleistung
| Präzision | Dicht | Mit spärlicher Ausführung |
|---|---|---|
| FP64 | 34 TFLOPS | — |
| FP64 Tensor | 67 TFLOPS | — |
| FP32 | 67 TFLOPS | — |
| TF32 Tensor | 494.5 TFLOPS | 989 TFLOPS |
| BF16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP8 Tensor | 1979 TFLOPS | 3958 TFLOPS |
| INT8 Tensor | 1979 TOPS | 3958 TOPS |
Plattform
| Formfaktor / Schnittstelle | SXM module |
|---|---|
| Interface | PCIe Gen5 x16 host interface |
| TDP | 700 W |
| NVLink | 900 GB/s NVLink |
| NVSwitch | Unterstützt |
| MIG | Bis zu 7 MIGs @ 18 GB |
| Max. GPUs pro Knoten | 8 |
Software
| CUDA | Unterstützt |
|---|---|
| Verifizierung | OFFICIAL_VENDOR |
| Quelle | www.nvidia.com |
Workload-Eignung
- LLM-InferenzAusgezeichnet
- LLM-Fine-TuningAusgezeichnet
- Vollständiges TrainingAusgezeichnet
- Bild- / VideogenerierungAusgezeichnet
- Embeddings / RerankingAusgezeichnet
Frameworks
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
Modellkompatibilität
13B/14B-Inferenz
Empfohlen mit Quantisierung oder FP16/BF16-Headroom-Prüfung
30B/32B-Inferenz
Empfohlen mit Quantisierung für Produktions-Headroom
65B/70B-Inferenz
Empfohlen für quantisierte Inferenz; Kontext und Parallelität prüfen
Fine-Tuning
Geeignet für LoRA/QLoRA; vollständiges Fine-Tuning hängt von Modellgröße und Topologie ab
Großes Training
Multi-GPU-Knoten mit hoher Bandbreite verwenden
Ähnliche GPUs
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/Monat
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/Monat
NVIDIA A100 SXM 80GB
80 GB HBM2e · Available
USD 915/Monat
FAQ zum KI-GPU-Hosting
Eignet sich diese GPU für LLM-Inferenz?
Die Eignung hängt von Modellgröße, Präzision, Kontextlänge und Parallelität ab. Nutzen Sie den Empfehlungsrechner mit Reserve.
Wie wird der Monatspreis berechnet?
Der öffentliche Monatspreis ist die genehmigte Preisversion. Der Stundenwert wird aus 730 Monatsstunden abgeleitet.
Kann ich mehrere GPUs mieten?
Multi-GPU-Konfigurationen sind möglich, wenn Inventar und Knotentopologie es erlauben.