InternLM / InternLM3 8B

Квантование BF16 для InternLM3 8B

Опубликованные показатели предварительные; технические измерения выполняются для выбранной модели и оборудования.

До → После

Базовый релизПроверенный чекпойнт
8.000B

КвантизацияBF16
Цель сохранения качества

Производственный артефактАртефакт
Отчёт о происхождении модели и результатах тестирования

Веса и KV-кэш

Расчет до измерения в ходе инженерной работы

Расчётная VRAM

Измеренные и сертифицированные результаты предоставляются вместе с проектом.

Подготовка среды выполнения

transformers, vllm

Сейчас недоступно для заказа