NVIDIA L40S 48GB GPU accelerator

NVIDIA · Ada Lovelace

NVIDIA L40S 48GB

متوازن للنماذج المتوسطة وتوليد الصور والرؤية الحاسوبية واستدلال الإنتاج منخفض التكلفة.

الإيجار الشهري

USD 506/شهر

~ USD 0.69/ساعة بناءً على شهر من 730 ساعة

التوافر: Available

مقارنة وحدات GPU

المواصفات التقنية

الهوية

المورّد NVIDIA
الطراز NVIDIA L40S 48GB
SKU L40S
Architecture Ada Lovelace
فئة العتاد datacenter gpu

الذاكرة

VRAM 48 GB
نوع الذاكرة GDDR6 ECC
عرض نطاق الذاكرة 864 GB/s

الحوسبة

الدقة كثيف مع التناثر
FP32 91.6 TFLOPS —
TF32 Tensor 183 TFLOPS 366 TFLOPS
BF16 Tensor 362.05 TFLOPS 733 TFLOPS
FP16 Tensor 362.05 TFLOPS 733 TFLOPS
FP8 Tensor 733 TFLOPS 1466 TFLOPS
INT8 Tensor 733 TOPS 1466 TOPS

المنصة

الشكل / الواجهة PCIe dual-slot accelerator card
الواجهة PCIe Gen4 x16
TDP 350 W
NVLink غير مدعوم
NVSwitch غير مدعوم
MIG غير مدعوم
أقصى عدد GPU لكل عقدة 8

البرمجيات

CUDA مدعوم
التحقق OFFICIAL_VENDOR
المصدر www.nvidia.com

ملاءمة الحمل

  • استدلال LLMجيد جدًا
  • ضبط LLMمناسب
  • تدريب النموذج الكاملمناسب
  • توليد الصور / الفيديوجيد جدًا
  • embeddings / rerankingممتاز

الأطر

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

إرشادات توافق النموذج

استدلال 7B/8B

موصى به

استدلال 13B/14B

موصى به مع التكميم أو مراجعة هامش FP16/BF16

استدلال 30B/32B

موصى به مع التكميم للحفاظ على هامش إنتاجي

استدلال 65B/70B

غالبًا يحتاج إلى عدة وحدات GPU أو تكميم أقوى

الضبط

مناسب لـ LoRA/QLoRA؛ الضبط الكامل يعتمد على حجم النموذج والطوبولوجيا

تدريب واسع

ليس الخيار الأساسي للتدريب الموزع الكبير

وحدات GPU ذات صلة

أسئلة AI GPU hosting

هل هذه GPU مناسبة لاستدلال LLM؟

تعتمد الملاءمة على حجم النموذج والدقة وطول السياق والتزامن. استخدم أداة التوصية للحساب بهامش مناسب.

كيف يحسب السعر الشهري؟

السعر الشهري العام هو نسخة السعر المعتمدة. يعرض المقابل بالساعة مشتقًا من السعر الشهري على أساس 730 ساعة.

هل يمكنني استئجار أكثر من GPU؟

تتوفر التهيئات متعددة GPU عندما يسمح المخزون وطوبولوجيا العقدة بذلك.