ERNIE / ERNIE 4.5 VL 28B-A3B Thinking

Quantisierung mit BF16 für ERNIE 4.5 VL 28B-A3B Thinking

Das veröffentlichte Profil dient zur Orientierung; die technischen Messungen erfolgen mit dem gewählten Modell und der Zielhardware.

Vorher → Nachher

BasisversionVerifizierter Checkpoint
28.000B

QuantisierungBF16
Ziel für Qualitätserhalt

ProduktionsartefaktArtefakt
Bericht zur Modellherkunft und Leistungsbewertung

Gewichte und KV-Cache

Bis zur technischen Messung geschätzt

Geschätzter VRAM

Gemessene und zertifizierte Ergebnisse werden mit dem Projekt geliefert.

Aufbereitung der Laufzeitumgebung

fastdeploy, transformers, vllm

Derzeit nicht bestellbar