Mistral / Mistral Small 4 119B A6B
Квантование FP8 для Mistral Small 4 119B A6B
Опубликованные показатели предварительные; технические измерения выполняются для выбранной модели и оборудования.
До → После
Базовый релизПроверенный чекпойнт
119.000B
119.000B
КвантизацияFP8
Цель сохранения качества
Цель сохранения качества
Производственный артефактАртефакт
Отчёт о происхождении модели и результатах тестирования
Отчёт о происхождении модели и результатах тестирования
Выбор GPU
Веса и KV-кэшРасчет до измерения в ходе инженерной работы
Расчётная VRAMИзмеренные и сертифицированные результаты предоставляются вместе с проектом.
Подготовка среды выполненияtransformers, vllm, sglang