INT4
Квантизация INT4
Точность, объём памяти, контекст и совместимость со средой выполнения оцениваются по подтверждённым данным о версии до открытия заказа.
Квантизация
BF16 / FP16Источник
FP8 / INT8Расчётная VRAM
INT4Проверено для релиза
Выбор GPU
МодельВеса и KV-кэш
Состояние проверкиКонтекст и параллельность
Подготовка среды выполненияvLLM, SGLang
Цель сохранения качества
КвантизацияРасчет до измерения в ходе инженерной работы
Расчётная VRAMПроверено для релиза
Подготовка среды выполненияИзмерено