GLM / GLM-5.2
Quantisierung mit FP8 für GLM-5.2
Das veröffentlichte Profil dient zur Orientierung; die technischen Messungen erfolgen mit dem gewählten Modell und der Zielhardware.
Vorher → Nachher
BasisversionVerifizierter Checkpoint
744.000B
744.000B
QuantisierungFP8
Ziel für Qualitätserhalt
Ziel für Qualitätserhalt
ProduktionsartefaktArtefakt
Bericht zur Modellherkunft und Leistungsbewertung
Bericht zur Modellherkunft und Leistungsbewertung
GPU-Auswahl
Gewichte und KV-CacheBis zur technischen Messung geschätzt
Geschätzter VRAMGemessene und zertifizierte Ergebnisse werden mit dem Projekt geliefert.
Aufbereitung der Laufzeitumgebungtransformers, vllm, sglang, ktransformers