InternLM / InternLM3 8B

Destillation von InternLM3 8B

Das veröffentlichte Profil dient zur Orientierung; die technischen Messungen erfolgen mit dem gewählten Modell und der Zielhardware.

Vorher → Nachher

BasisversionVerifizierter Checkpoint
8.000B

DestillationLehrer / Schülermodell
Ziel für Qualitätserhalt

ProduktionsartefaktArtefakt
Bericht zur Modellherkunft und Leistungsbewertung

Gewichte und KV-Cache

Bis zur technischen Messung geschätzt

Geschätzter VRAM

Gemessen

Aufbereitung der Laufzeitumgebung

transformers, vllm

USD 17.500