GLM / GLM-4.6V

Квантование FP8 для GLM-4.6V

Опубликованные показатели предварительные; технические измерения выполняются для выбранной модели и оборудования.

До → После

Базовый релизПроверенный чекпойнт
107.710B

КвантизацияFP8
Цель сохранения качества

Производственный артефактАртефакт
Отчёт о происхождении модели и результатах тестирования

Веса и KV-кэш

Расчет до измерения в ходе инженерной работы

Расчётная VRAM

Измерено

Подготовка среды выполнения

transformers, vllm, sglang

USD 5 900