GPU तुलना
एक ही मूल्य, इन्वेंटरी और विनिर्देश डेटा से 2-4 सार्वजनिक GPU तुलना करें।
| GPU |
NVIDIA L40S 48GB |
|---|---|
| मासिक किराया | USD 506/माह |
| प्रति घंटा समतुल्य | ~ USD 0.69/घंटा |
| VRAM | 48 GB GDDR6 ECC |
| आर्किटेक्चर | Ada Lovelace |
| बैंडविड्थ | 864 GB/s |
| फॉर्म फैक्टर | PCIe dual-slot accelerator card |
| इंटरफ़ेस | PCIe Gen4 x16 |
| TDP | 350 W |
| FP32 | 91.6 TFLOPS घना |
| TF32 | 183 TFLOPS घना / 366 TFLOPS स्पार्स |
| BF16 | 362.05 TFLOPS घना / 733 TFLOPS स्पार्स |
| FP16 | 362.05 TFLOPS घना / 733 TFLOPS स्पार्स |
| FP8 | 733 TFLOPS घना / 1466 TFLOPS स्पार्स |
| INT8 | 733 TOPS घना / 1466 TOPS स्पार्स |
| MIG | समर्थित नहीं |
| NVLink | समर्थित नहीं |
| उपलब्धता | Available |
| फ्रेमवर्क | PyTorch, TensorFlow, JAX, Hugging Face, vLLM, TensorRT, ONNX Runtime, CUDA |
| मॉडल संगतता मार्गदर्शन | आम तौर पर कई GPU या अधिक मजबूत quantisation चाहिए |
| कार्रवाई | कॉन्फ़िगर और किराये पर लें |