NVIDIA L4 24GB GPU accelerator

NVIDIA · Ada Lovelace

NVIDIA L4 24GB

فعال لاستدلال النماذج الصغيرة وembeddings وreranking والتطوير وخدمات الذكاء الاصطناعي الحساسة للتكلفة.

الإيجار الشهري

USD 250/شهر

~ USD 0.34/ساعة بناءً على شهر من 730 ساعة

التوافر: Available

مقارنة وحدات GPU

المواصفات التقنية

الهوية

المورّد NVIDIA
الطراز NVIDIA L4 24GB
SKU L4
Architecture Ada Lovelace
فئة العتاد datacenter gpu

الذاكرة

VRAM 24 GB
نوع الذاكرة GDDR6
عرض نطاق الذاكرة 300 GB/s

الحوسبة

الدقة كثيف مع التناثر
FP32 30.3 TFLOPS —
TF32 Tensor 60 TFLOPS 120 TFLOPS
BF16 Tensor 121 TFLOPS 242 TFLOPS
FP16 Tensor 121 TFLOPS 242 TFLOPS
FP8 Tensor 242.5 TFLOPS 485 TFLOPS
INT8 Tensor 242.5 TOPS 485 TOPS

المنصة

الشكل / الواجهة PCIe low-profile accelerator card
الواجهة PCIe Gen4 x16
TDP 72 W
NVLink غير مدعوم
NVSwitch غير مدعوم
MIG غير مدعوم
أقصى عدد GPU لكل عقدة 8

البرمجيات

CUDA مدعوم
التحقق OFFICIAL_VENDOR
المصدر www.nvidia.com

ملاءمة الحمل

  • استدلال LLMمناسب
  • ضبط LLMمحدود
  • تدريب النموذج الكاملمحدود
  • توليد الصور / الفيديومناسب
  • embeddings / rerankingممتاز

الأطر

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

إرشادات توافق النموذج

استدلال 7B/8B

موصى به

استدلال 13B/14B

موصى به مع التكميم أو مراجعة هامش FP16/BF16

استدلال 30B/32B

محدود

استدلال 65B/70B

غالبًا يحتاج إلى عدة وحدات GPU أو تكميم أقوى

الضبط

محدود للأحمال الصغيرة أو المعدلة

تدريب واسع

ليس الخيار الأساسي للتدريب الموزع الكبير

وحدات GPU ذات صلة

أسئلة AI GPU hosting

هل هذه GPU مناسبة لاستدلال LLM؟

تعتمد الملاءمة على حجم النموذج والدقة وطول السياق والتزامن. استخدم أداة التوصية للحساب بهامش مناسب.

كيف يحسب السعر الشهري؟

السعر الشهري العام هو نسخة السعر المعتمدة. يعرض المقابل بالساعة مشتقًا من السعر الشهري على أساس 730 ساعة.

هل يمكنني استئجار أكثر من GPU؟

تتوفر التهيئات متعددة GPU عندما يسمح المخزون وطوبولوجيا العقدة بذلك.