7B/8B inference
अनुशंसित
NVIDIA · Hopper
NVIDIA H200 SXM 141GB
बड़े मॉडल, लंबे context, भारी fine-tuning और अधिक मेमोरी वाली AI workloads के लिए उपयुक्त।
मासिक किराया
USD 2,345/माह
~ USD 3.21/घंटा 730 घंटे के महीने पर आधारित
उपलब्धता: Limited capacity
GPU तुलना करेंतकनीकी विनिर्देश
पहचान
| विक्रेता | NVIDIA |
|---|---|
| मॉडल | NVIDIA H200 SXM 141GB |
| SKU | H200 SXM |
| Architecture | Hopper |
| हार्डवेयर श्रेणी | datacenter gpu |
मेमोरी
| VRAM | 141 GB |
|---|---|
| मेमोरी प्रकार | HBM3e |
| मेमोरी बैंडविड्थ | 4800 GB/s |
कम्प्यूट
| प्रिसिजन | घना | स्पार्सिटी सहित |
|---|---|---|
| FP64 | 34 TFLOPS | — |
| FP64 Tensor | 67 TFLOPS | — |
| FP32 | 67 TFLOPS | — |
| TF32 Tensor | 494.5 TFLOPS | 989 TFLOPS |
| BF16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP16 Tensor | 989.5 TFLOPS | 1979 TFLOPS |
| FP8 Tensor | 1979 TFLOPS | 3958 TFLOPS |
| INT8 Tensor | 1979 TOPS | 3958 TOPS |
प्लेटफ़ॉर्म
| फॉर्म फैक्टर / इंटरफ़ेस | SXM module |
|---|---|
| Interface | PCIe Gen5 x16 host interface |
| TDP | 700 W |
| NVLink | 900 GB/s NVLink |
| NVSwitch | समर्थित |
| MIG | 7 MIG तक @ 18 GB |
| प्रति नोड अधिकतम GPU | 8 |
सॉफ्टवेयर
| CUDA | समर्थित |
|---|---|
| सत्यापन | OFFICIAL_VENDOR |
| स्रोत | www.nvidia.com |
वर्कलोड उपयुक्तता
- LLM inferenceउत्कृष्ट
- LLM fine-tuningउत्कृष्ट
- पूर्ण मॉडल trainingउत्कृष्ट
- image / video generationउत्कृष्ट
- embeddings / rerankingउत्कृष्ट
फ्रेमवर्क
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
मॉडल संगतता मार्गदर्शन
13B/14B inference
quantisation या FP16/BF16 headroom समीक्षा के साथ अनुशंसित
30B/32B inference
production headroom के लिए quantisation के साथ अनुशंसित
65B/70B inference
quantised inference के लिए अनुशंसित; context और concurrency की समीक्षा करें
fine-tuning
LoRA/QLoRA के लिए उपयुक्त; full fine-tuning model size और topology पर निर्भर है
large training
high-bandwidth topology वाले multi-GPU nodes उपयोग करें
संबंधित GPU
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/माह
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/माह
NVIDIA A100 SXM 80GB
80 GB HBM2e · Available
USD 915/माह
AI GPU hosting FAQ
क्या यह GPU LLM इन्फ़रेंस के लिए उपयुक्त है?
उपयुक्तता मॉडल, प्रिसीजन, कॉन्टेक्स्ट और समवर्ती उपयोग पर निर्भर है. मार्जिन के साथ सुझाव इंजन उपयोग करें.
मासिक मूल्य कैसे निकाला जाता है?
सार्वजनिक मासिक मूल्य स्वीकृत मूल्य संस्करण है. घंटे का समतुल्य 730 घंटे के आधार पर निकाला जाता है.
क्या कई GPU किराये पर ले सकते हैं?
जब इन्वेंटरी और नोड टोपोलॉजी अनुमति दें, multi-GPU कॉन्फ़िगरेशन उपलब्ध हैं.