NVIDIA · डेटा सेंटर · त्वरक कार्ड
NVIDIA A40 48GB
इस पृष्ठ पर A40 के सटीक संदर्भ विनिर्देश और AI परिनियोजन के लिए मार्गदर्शन दिया गया है। यह जानकारी FusionPointAI के व्यावसायिक GPU किराये के स्टॉक से अलग है।
पिछली पीढ़ी
केवल संदर्भ
सत्यापित तकनीकी विनिर्देश
| निर्माता | NVIDIA |
|---|---|
| सटीक SKU | A40 |
| उत्पाद परिवार | NVIDIA A40 |
| वास्तुकला | Ampere |
| पीढ़ी | डेटा केंद्र के लिए Ampere |
| इकाई प्रकार | त्वरक कार्ड |
| जीवनचक्र | पिछली पीढ़ी |
| लॉन्च तारीख | निर्माता ने यह जानकारी प्रकाशित नहीं की है। |
| VRAM | 48 GB |
| मेमोरी तकनीक | GDDR6 ECC |
| मेमोरी बैंडविड्थ | ६९६ GB/s |
| पावर | 300 W |
| इंटरफ़ेस | PCIe Gen4 x16 |
| फॉर्म फैक्टर | दो स्लॉट · PCIe · त्वरक |
| इंटरकनेक्ट | NVLink |
| MIG / विभाजन | समर्थित नहीं |
| समर्थित संख्यात्मक प्रारूप | FP64, FP32, TF32, BF16, FP16, INT8, INT4 |
| सॉफ्टवेयर स्टैक | cuda, vllm, sglang, tensorrt-llm |
AI वर्कलोड उपयुक्तता
LLM इन्फ़रेंस
छोटे चेकपॉइंट, संपीड़ित मॉडल या वितरित कॉन्फ़िगरेशन के लिए उपयुक्त।
फाइन-ट्यूनिंग और प्रशिक्षण
यह लंबे समय तक चलने वाले GPU कार्यभार के लिए बनाया गया है। ट्रेनिंग की उपयुक्तता इंटरकनेक्ट, संख्यात्मक परिशुद्धता और टोपोलॉजी पर निर्भर करती है।
चित्र, वीडियो और embedding
FP16 सूचीबद्ध VRAM के भीतर जनरेटिव और वेक्टर वर्कलोड समर्थन करता है।
पावर और कूलिंग
300 W के लिए उपयुक्त चेसिस, एयरफ़्लो और पावर चाहिए।
मल्टी-GPU उपयोग
NVLink दर्ज इंटरकनेक्ट है; नोड टोपोलॉजी सत्यापित करें।
सॉफ्टवेयर पारिस्थितिकी
cuda, vllm, sglang, tensorrt-llm