ERNIE / ERNIE 4.5 21B-A3B Thinking
Destillation von ERNIE 4.5 21B-A3B Thinking
Das veröffentlichte Profil dient zur Orientierung; die technischen Messungen erfolgen mit dem gewählten Modell und der Zielhardware.
Vorher → Nachher
BasisversionVerifizierter Checkpoint
21.000B
21.000B
DestillationLehrer / Schülermodell
Ziel für Qualitätserhalt
Ziel für Qualitätserhalt
ProduktionsartefaktArtefakt
Bericht zur Modellherkunft und Leistungsbewertung
Bericht zur Modellherkunft und Leistungsbewertung
GPU-Auswahl
Gewichte und KV-CacheBis zur technischen Messung geschätzt
Geschätzter VRAMGemessene und zertifizierte Ergebnisse werden mit dem Projekt geliefert.
Aufbereitung der Laufzeitumgebungfastdeploy, transformers, vllm