NVIDIA L4 24GB GPU accelerator

NVIDIA · Ada Lovelace

NVIDIA L4 24GB

छोटे मॉडल inference, embeddings, reranking, development और लागत-संवेदनशील AI सेवाओं के लिए कुशल।

मासिक किराया

USD 250/माह

~ USD 0.34/घंटा 730 घंटे के महीने पर आधारित

उपलब्धता: Available

GPU तुलना करें

तकनीकी विनिर्देश

पहचान

विक्रेता NVIDIA
मॉडल NVIDIA L4 24GB
SKU L4
Architecture Ada Lovelace
हार्डवेयर श्रेणी datacenter gpu

मेमोरी

VRAM 24 GB
मेमोरी प्रकार GDDR6
मेमोरी बैंडविड्थ 300 GB/s

कम्प्यूट

प्रिसिजन घना स्पार्सिटी सहित
FP32 30.3 TFLOPS —
TF32 Tensor 60 TFLOPS 120 TFLOPS
BF16 Tensor 121 TFLOPS 242 TFLOPS
FP16 Tensor 121 TFLOPS 242 TFLOPS
FP8 Tensor 242.5 TFLOPS 485 TFLOPS
INT8 Tensor 242.5 TOPS 485 TOPS

प्लेटफ़ॉर्म

फॉर्म फैक्टर / इंटरफ़ेस PCIe low-profile accelerator card
Interface PCIe Gen4 x16
TDP 72 W
NVLink समर्थित नहीं
NVSwitch समर्थित नहीं
MIG समर्थित नहीं
प्रति नोड अधिकतम GPU 8

सॉफ्टवेयर

CUDA समर्थित
सत्यापन OFFICIAL_VENDOR
स्रोत www.nvidia.com

वर्कलोड उपयुक्तता

  • LLM inferenceउपयुक्त
  • LLM fine-tuningसीमित
  • पूर्ण मॉडल trainingसीमित
  • image / video generationउपयुक्त
  • embeddings / rerankingउत्कृष्ट

फ्रेमवर्क

  • PyTorch
  • TensorFlow
  • JAX
  • Hugging Face
  • vLLM
  • TensorRT
  • ONNX Runtime
  • CUDA

मॉडल संगतता मार्गदर्शन

7B/8B inference

अनुशंसित

13B/14B inference

quantisation या FP16/BF16 headroom समीक्षा के साथ अनुशंसित

30B/32B inference

सीमित

65B/70B inference

आम तौर पर कई GPU या अधिक मजबूत quantisation चाहिए

fine-tuning

छोटी या adapted workloads तक सीमित

large training

बड़े distributed training के लिए प्राथमिक विकल्प नहीं

संबंधित GPU

AI GPU hosting FAQ

क्या यह GPU LLM इन्फ़रेंस के लिए उपयुक्त है?

उपयुक्तता मॉडल, प्रिसीजन, कॉन्टेक्स्ट और समवर्ती उपयोग पर निर्भर है. मार्जिन के साथ सुझाव इंजन उपयोग करें.

मासिक मूल्य कैसे निकाला जाता है?

सार्वजनिक मासिक मूल्य स्वीकृत मूल्य संस्करण है. घंटे का समतुल्य 730 घंटे के आधार पर निकाला जाता है.

क्या कई GPU किराये पर ले सकते हैं?

जब इन्वेंटरी और नोड टोपोलॉजी अनुमति दें, multi-GPU कॉन्फ़िगरेशन उपलब्ध हैं.