INT8
INT8-Quantisierung
Präzision, Speicherbedarf, Kontextlänge und Eignung für die Laufzeitumgebung werden anhand der Versionsnachweise bewertet, bevor eine Bestellung möglich ist.
Quantisierung
BF16 / FP16Quelle
FP8 / INT8Geschätzter VRAM
INT4Pro Version validiert
GPU-Auswahl
ModellGewichte und KV-Cache
ValidierungsstatusKontextlänge und Parallelität
Aufbereitung der LaufzeitumgebungvLLM, SGLang
Ziel für Qualitätserhalt
QuantisierungBis zur technischen Messung geschätzt
Geschätzter VRAMPro Version validiert
Aufbereitung der LaufzeitumgebungGemessene und zertifizierte Ergebnisse werden mit dem Projekt geliefert.