GLM / GLM-5.3-Flash
Quantisierung mit FP8 für GLM-5.3-Flash
Das veröffentlichte Profil dient zur Orientierung; die technischen Messungen erfolgen mit dem gewählten Modell und der Zielhardware.
Vorher → Nachher
BasisversionVerifizierter Checkpoint
320.000B
320.000B
QuantisierungFP8
Ziel für Qualitätserhalt
Ziel für Qualitätserhalt
ProduktionsartefaktArtefakt
Bericht zur Modellherkunft und Leistungsbewertung
Bericht zur Modellherkunft und Leistungsbewertung
GPU-Auswahl
Gewichte und KV-CacheBis zur technischen Messung geschätzt
Geschätzter VRAMGemessene und zertifizierte Ergebnisse werden mit dem Projekt geliefert.
Aufbereitung der Laufzeitumgebungtransformers, vllm, sglang, tokenspeed, ktransformers