NVIDIA H100 SXM 80GB GPU accelerator

NVIDIA · Hopper

NVIDIA H100 SXM 80GB

مناسب لاستدلال 70B المكمم وضبط LoRA وخدمة عالية الإنتاجية.

الإيجار الشهري

USD 1,860/شهر

~ USD 2.55/ساعة بناءً على شهر من 730 ساعة

التوافر: Available

مقارنة وحدات GPU

المواصفات التقنية

الهوية

المورّد NVIDIA
الطراز NVIDIA H100 SXM 80GB
SKU H100 SXM
Architecture Hopper
فئة العتاد datacenter gpu

الذاكرة

VRAM 80 GB
نوع الذاكرة HBM3
عرض نطاق الذاكرة 3350 GB/s

الحوسبة

الدقة كثيف مع التناثر
FP64 34 TFLOPS —
FP64 Tensor 67 TFLOPS —
FP32 67 TFLOPS —
TF32 Tensor 494.5 TFLOPS 989 TFLOPS
BF16 Tensor 989.5 TFLOPS 1979 TFLOPS
FP16 Tensor 989.5 TFLOPS 1979 TFLOPS
FP8 Tensor 1979 TFLOPS 3958 TFLOPS
INT8 Tensor 1979 TOPS 3958 TOPS

المنصة

الشكل / الواجهة SXM module
الواجهة PCIe Gen5 x16 host interface
TDP 700 W
NVLink 900 GB/s NVLink
NVSwitch مدعوم
MIG حتى 7 MIG بسعة 10 GB
أقصى عدد GPU لكل عقدة 8

البرمجيات

CUDA مدعوم
التحقق OFFICIAL_VENDOR
المصدر www.nvidia.com

ملاءمة الحمل

  • استدلال LLMجيد جدًا
  • ضبط LLMجيد جدًا
  • تدريب النموذج الكاملجيد جدًا
  • توليد الصور / الفيديوجيد جدًا
  • embeddings / rerankingممتاز

الأطر

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

إرشادات توافق النموذج

استدلال 7B/8B

موصى به

استدلال 13B/14B

موصى به مع التكميم أو مراجعة هامش FP16/BF16

استدلال 30B/32B

موصى به مع التكميم للحفاظ على هامش إنتاجي

استدلال 65B/70B

موصى به للاستدلال المكمم؛ راجع السياق والتزامن

الضبط

مناسب لـ LoRA/QLoRA؛ الضبط الكامل يعتمد على حجم النموذج والطوبولوجيا

تدريب واسع

استخدم عقدًا متعددة GPU بطوبولوجيا عالية النطاق

وحدات GPU ذات صلة

أسئلة AI GPU hosting

هل هذه GPU مناسبة لاستدلال LLM؟

تعتمد الملاءمة على حجم النموذج والدقة وطول السياق والتزامن. استخدم أداة التوصية للحساب بهامش مناسب.

كيف يحسب السعر الشهري؟

السعر الشهري العام هو نسخة السعر المعتمدة. يعرض المقابل بالساعة مشتقًا من السعر الشهري على أساس 730 ساعة.

هل يمكنني استئجار أكثر من GPU؟

تتوفر التهيئات متعددة GPU عندما يسمح المخزون وطوبولوجيا العقدة بذلك.