GPTQ
GPTQ-Quantisierung
Präzision, Speicherbedarf, Kontextlänge und Eignung für die Laufzeitumgebung werden anhand der Versionsnachweise bewertet, bevor eine Bestellung möglich ist.
Quantisierung
BF16 / FP16Quelle
FP8 / INT8Geschätzter VRAM
INT4Pro Version validiert
GPU-Auswahl
ModellGewichte und KV-Cache
ValidierungsstatusKontextlänge und Parallelität
Aufbereitung der LaufzeitumgebungvLLM, SGLang
Ziel für Qualitätserhalt
QuantisierungBis zur technischen Messung geschätzt
Geschätzter VRAMPro Version validiert
Aufbereitung der LaufzeitumgebungGemessen