GPU तुलना
एक ही मूल्य, इन्वेंटरी और विनिर्देश डेटा से 2-4 सार्वजनिक GPU तुलना करें।
| GPU |
NVIDIA L4 24GB |
|---|---|
| मासिक किराया | USD 250/माह |
| प्रति घंटा समतुल्य | ~ USD 0.34/घंटा |
| VRAM | 24 GB GDDR6 |
| आर्किटेक्चर | Ada Lovelace |
| बैंडविड्थ | 300 GB/s |
| फॉर्म फैक्टर | PCIe low-profile accelerator card |
| इंटरफ़ेस | PCIe Gen4 x16 |
| TDP | 72 W |
| FP64 | सूचीबद्ध नहीं |
| FP64 Tensor | सूचीबद्ध नहीं |
| FP32 | 30.3 TFLOPS घना |
| TF32 | 60 TFLOPS घना / 120 TFLOPS स्पार्स |
| BF16 | 121 TFLOPS घना / 242 TFLOPS स्पार्स |
| FP16 | 121 TFLOPS घना / 242 TFLOPS स्पार्स |
| FP8 | 242.5 TFLOPS घना / 485 TFLOPS स्पार्स |
| INT8 | 242.5 TOPS घना / 485 TOPS स्पार्स |
| MIG | समर्थित नहीं |
| NVLink | समर्थित नहीं |
| उपलब्धता | उपलब्ध |
| फ्रेमवर्क | PyTorch, TensorFlow, JAX, Hugging Face, vLLM, TensorRT, ONNX Runtime, CUDA |
| मॉडल संगतता मार्गदर्शन | आम तौर पर कई GPU या अधिक मजबूत quantisation चाहिए |
| कार्रवाई | कॉन्फ़िगर और किराये पर लें |