7B/8B-Inferenz
Empfohlen
NVIDIA · Ada Lovelace
NVIDIA L40S 48GB
Ausgewogen für mittlere LLMs, Bildgenerierung, Computer Vision und kostenbewusste Produktionsinferenz.
Monatliche Miete
USD 506/Monat
~ USD 0.69/Stunde basierend auf einem 730-Stunden-Monat
Verfügbarkeit: Available
GPUs vergleichenTechnische Daten
Identität
| Anbieter | NVIDIA |
|---|---|
| Modell | NVIDIA L40S 48GB |
| SKU | L40S |
| Architecture | Ada Lovelace |
| Hardwareklasse | datacenter gpu |
Speicher
| VRAM | 48 GB |
|---|---|
| Speichertyp | GDDR6 ECC |
| Speicherbandbreite | 864 GB/s |
Rechenleistung
| Präzision | Dicht | Mit spärlicher Ausführung |
|---|---|---|
| FP32 | 91.6 TFLOPS | — |
| TF32 Tensor | 183 TFLOPS | 366 TFLOPS |
| BF16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP16 Tensor | 362.05 TFLOPS | 733 TFLOPS |
| FP8 Tensor | 733 TFLOPS | 1466 TFLOPS |
| INT8 Tensor | 733 TOPS | 1466 TOPS |
Plattform
| Formfaktor / Schnittstelle | PCIe dual-slot accelerator card |
|---|---|
| Interface | PCIe Gen4 x16 |
| TDP | 350 W |
| NVLink | Nicht unterstützt |
| NVSwitch | Nicht unterstützt |
| MIG | Nicht unterstützt |
| Max. GPUs pro Knoten | 8 |
Software
| CUDA | Unterstützt |
|---|---|
| Verifizierung | OFFICIAL_VENDOR |
| Quelle | www.nvidia.com |
Workload-Eignung
- LLM-InferenzSehr gut
- LLM-Fine-TuningGeeignet
- Vollständiges TrainingGeeignet
- Bild- / VideogenerierungSehr gut
- Embeddings / RerankingAusgezeichnet
Frameworks
- PyTorch
- TensorFlow
- JAX
- Hugging Face
- vLLM
- TensorRT
- ONNX Runtime
- CUDA
Modellkompatibilität
13B/14B-Inferenz
Empfohlen mit Quantisierung oder FP16/BF16-Headroom-Prüfung
30B/32B-Inferenz
Empfohlen mit Quantisierung für Produktions-Headroom
65B/70B-Inferenz
Benötigt meist mehrere GPUs oder stärkere Quantisierung
Fine-Tuning
Geeignet für LoRA/QLoRA; vollständiges Fine-Tuning hängt von Modellgröße und Topologie ab
Großes Training
Nicht die primäre Wahl für großes verteiltes Training
Ähnliche GPUs
NVIDIA L4 24GB
24 GB GDDR6 · Available
USD 250/Monat
NVIDIA H100 SXM 80GB
80 GB HBM3 · Available
USD 1,860/Monat
NVIDIA H100 PCIe 80GB
80 GB HBM2e · Limited capacity
USD 1,579/Monat
FAQ zum KI-GPU-Hosting
Eignet sich diese GPU für LLM-Inferenz?
Die Eignung hängt von Modellgröße, Präzision, Kontextlänge und Parallelität ab. Nutzen Sie den Empfehlungsrechner mit Reserve.
Wie wird der Monatspreis berechnet?
Der öffentliche Monatspreis ist die genehmigte Preisversion. Der Stundenwert wird aus 730 Monatsstunden abgeleitet.
Kann ich mehrere GPUs mieten?
Multi-GPU-Konfigurationen sind möglich, wenn Inventar und Knotentopologie es erlauben.