NVIDIA A100 SXM 80GB GPU accelerator

NVIDIA · Ampere

NVIDIA A100 SXM 80GB

مناسب لاستدلال 70B المكمم وضبط LoRA وخدمة عالية الإنتاجية.

الإيجار الشهري

USD 915/شهر

~ USD 1.25/ساعة بناءً على شهر من 730 ساعة

التوافر: Available

مقارنة وحدات GPU

المواصفات التقنية

الهوية

المورّد NVIDIA
الطراز NVIDIA A100 SXM 80GB
SKU A100 SXM 80GB
Architecture Ampere
فئة العتاد datacenter gpu

الذاكرة

VRAM 80 GB
نوع الذاكرة HBM2e
عرض نطاق الذاكرة 2039 GB/s

الحوسبة

الدقة كثيف مع التناثر
FP64 9.7 TFLOPS —
FP64 Tensor 19.5 TFLOPS —
FP32 19.5 TFLOPS —
TF32 Tensor 156 TFLOPS 312 TFLOPS
BF16 Tensor 312 TFLOPS 624 TFLOPS
FP16 Tensor 312 TFLOPS 624 TFLOPS
INT8 Tensor 624 TOPS 1248 TOPS

المنصة

الشكل / الواجهة SXM module
الواجهة PCIe Gen4 x16 host interface
TDP 400 W
NVLink 600 GB/s NVLink
NVSwitch مدعوم
MIG حتى 7 MIG بسعة 10 GB
أقصى عدد GPU لكل عقدة 8

البرمجيات

CUDA مدعوم
التحقق OFFICIAL_VENDOR
المصدر www.nvidia.com

ملاءمة الحمل

  • استدلال LLMجيد جدًا
  • ضبط LLMجيد جدًا
  • تدريب النموذج الكاملجيد جدًا
  • توليد الصور / الفيديوجيد جدًا
  • embeddings / rerankingممتاز

الأطر

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

إرشادات توافق النموذج

استدلال 7B/8B

موصى به

استدلال 13B/14B

موصى به مع التكميم أو مراجعة هامش FP16/BF16

استدلال 30B/32B

موصى به مع التكميم للحفاظ على هامش إنتاجي

استدلال 65B/70B

موصى به للاستدلال المكمم؛ راجع السياق والتزامن

الضبط

مناسب لـ LoRA/QLoRA؛ الضبط الكامل يعتمد على حجم النموذج والطوبولوجيا

تدريب واسع

استخدم عقدًا متعددة GPU بطوبولوجيا عالية النطاق

وحدات GPU ذات صلة

أسئلة AI GPU hosting

هل هذه GPU مناسبة لاستدلال LLM؟

تعتمد الملاءمة على حجم النموذج والدقة وطول السياق والتزامن. استخدم أداة التوصية للحساب بهامش مناسب.

كيف يحسب السعر الشهري؟

السعر الشهري العام هو نسخة السعر المعتمدة. يعرض المقابل بالساعة مشتقًا من السعر الشهري على أساس 730 ساعة.

هل يمكنني استئجار أكثر من GPU؟

تتوفر التهيئات متعددة GPU عندما يسمح المخزون وطوبولوجيا العقدة بذلك.