NVIDIA H200 SXM 141GB GPU accelerator

NVIDIA · Hopper

NVIDIA H200 SXM 141GB

مناسب للنماذج الكبيرة والسياق الطويل والضبط الثقيل وأحمال الذكاء الاصطناعي كثيفة الذاكرة.

الإيجار الشهري

USD 2,345/شهر

~ USD 3.21/ساعة بناءً على شهر من 730 ساعة

التوافر: Limited capacity

مقارنة وحدات GPU

المواصفات التقنية

الهوية

المورّد NVIDIA
الطراز NVIDIA H200 SXM 141GB
SKU H200 SXM
Architecture Hopper
فئة العتاد datacenter gpu

الذاكرة

VRAM 141 GB
نوع الذاكرة HBM3e
عرض نطاق الذاكرة 4800 GB/s

الحوسبة

الدقة كثيف مع التناثر
FP64 34 TFLOPS —
FP64 Tensor 67 TFLOPS —
FP32 67 TFLOPS —
TF32 Tensor 494.5 TFLOPS 989 TFLOPS
BF16 Tensor 989.5 TFLOPS 1979 TFLOPS
FP16 Tensor 989.5 TFLOPS 1979 TFLOPS
FP8 Tensor 1979 TFLOPS 3958 TFLOPS
INT8 Tensor 1979 TOPS 3958 TOPS

المنصة

الشكل / الواجهة SXM module
الواجهة PCIe Gen5 x16 host interface
TDP 700 W
NVLink 900 GB/s NVLink
NVSwitch مدعوم
MIG حتى 7 MIG بسعة 18 GB
أقصى عدد GPU لكل عقدة 8

البرمجيات

CUDA مدعوم
التحقق OFFICIAL_VENDOR
المصدر www.nvidia.com

ملاءمة الحمل

  • استدلال LLMممتاز
  • ضبط LLMممتاز
  • تدريب النموذج الكاملممتاز
  • توليد الصور / الفيديوممتاز
  • embeddings / rerankingممتاز

الأطر

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

إرشادات توافق النموذج

استدلال 7B/8B

موصى به

استدلال 13B/14B

موصى به مع التكميم أو مراجعة هامش FP16/BF16

استدلال 30B/32B

موصى به مع التكميم للحفاظ على هامش إنتاجي

استدلال 65B/70B

موصى به للاستدلال المكمم؛ راجع السياق والتزامن

الضبط

مناسب لـ LoRA/QLoRA؛ الضبط الكامل يعتمد على حجم النموذج والطوبولوجيا

تدريب واسع

استخدم عقدًا متعددة GPU بطوبولوجيا عالية النطاق

وحدات GPU ذات صلة

أسئلة AI GPU hosting

هل هذه GPU مناسبة لاستدلال LLM؟

تعتمد الملاءمة على حجم النموذج والدقة وطول السياق والتزامن. استخدم أداة التوصية للحساب بهامش مناسب.

كيف يحسب السعر الشهري؟

السعر الشهري العام هو نسخة السعر المعتمدة. يعرض المقابل بالساعة مشتقًا من السعر الشهري على أساس 730 ساعة.

هل يمكنني استئجار أكثر من GPU؟

تتوفر التهيئات متعددة GPU عندما يسمح المخزون وطوبولوجيا العقدة بذلك.