Квантизация

Точность, объём памяти, контекст и совместимость со средой выполнения оцениваются по подтверждённым данным о версии до открытия заказа.

BF16 / FP16

Источник

FP8 / INT8

Расчётная VRAM

INT4

Проверено для релиза

Выбор GPU

МодельВеса и KV-кэш

Состояние проверкиКонтекст и параллельность

Подготовка среды выполненияvLLM, SGLang

Квантизация

Расчет до измерения в ходе инженерной работы

Расчётная VRAM

Проверено для релиза

Подготовка среды выполнения

Измеренные и сертифицированные результаты предоставляются вместе с проектом.

Сейчас недоступно для заказа