NVIDIA H100 PCIe 80GB GPU accelerator

NVIDIA · Hopper

NVIDIA H100 PCIe 80GB

مناسب لاستدلال 70B المكمم وضبط LoRA وخدمة عالية الإنتاجية.

الإيجار الشهري

USD 1,579/شهر

~ USD 2.16/ساعة بناءً على شهر من 730 ساعة

التوافر: Limited capacity

مقارنة وحدات GPU

المواصفات التقنية

الهوية

المورّد NVIDIA
الطراز NVIDIA H100 PCIe 80GB
SKU H100 PCIe
Architecture Hopper
فئة العتاد datacenter gpu

الذاكرة

VRAM 80 GB
نوع الذاكرة HBM2e
عرض نطاق الذاكرة 2000 GB/s

الحوسبة

الدقة كثيف مع التناثر
FP64 26 TFLOPS —
FP64 Tensor 51 TFLOPS —
FP32 51 TFLOPS —
TF32 Tensor 378 TFLOPS 756 TFLOPS
BF16 Tensor 756.5 TFLOPS 1513 TFLOPS
FP16 Tensor 756.5 TFLOPS 1513 TFLOPS
FP8 Tensor 1513 TFLOPS 3026 TFLOPS
INT8 Tensor 1513 TOPS 3026 TOPS

المنصة

الشكل / الواجهة PCIe dual-slot accelerator card
الواجهة PCIe Gen5 x16
TDP 350 W
NVLink 600 GB/s NVLink Bridge
NVSwitch غير مدعوم
MIG حتى 7 MIG بسعة 10 GB
أقصى عدد GPU لكل عقدة 8

البرمجيات

CUDA مدعوم
التحقق OFFICIAL_VENDOR
المصدر www.nvidia.com

ملاءمة الحمل

  • استدلال LLMجيد جدًا
  • ضبط LLMجيد جدًا
  • تدريب النموذج الكاملجيد جدًا
  • توليد الصور / الفيديوجيد جدًا
  • embeddings / rerankingممتاز

الأطر

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

إرشادات توافق النموذج

استدلال 7B/8B

موصى به

استدلال 13B/14B

موصى به مع التكميم أو مراجعة هامش FP16/BF16

استدلال 30B/32B

موصى به مع التكميم للحفاظ على هامش إنتاجي

استدلال 65B/70B

موصى به للاستدلال المكمم؛ راجع السياق والتزامن

الضبط

مناسب لـ LoRA/QLoRA؛ الضبط الكامل يعتمد على حجم النموذج والطوبولوجيا

تدريب واسع

استخدم عقدًا متعددة GPU بطوبولوجيا عالية النطاق

وحدات GPU ذات صلة

أسئلة AI GPU hosting

هل هذه GPU مناسبة لاستدلال LLM؟

تعتمد الملاءمة على حجم النموذج والدقة وطول السياق والتزامن. استخدم أداة التوصية للحساب بهامش مناسب.

كيف يحسب السعر الشهري؟

السعر الشهري العام هو نسخة السعر المعتمدة. يعرض المقابل بالساعة مشتقًا من السعر الشهري على أساس 730 ساعة.

هل يمكنني استئجار أكثر من GPU؟

تتوفر التهيئات متعددة GPU عندما يسمح المخزون وطوبولوجيا العقدة بذلك.