GPTQ
Cuantización GPTQ
La precisión, la memoria, el contexto y la compatibilidad con el entorno de ejecución se evalúan a partir de los datos de la versión antes de habilitar un pedido.
Cuantización
BF16 / FP16Fuente
FP8 / INT8VRAM estimada
INT4Validado por versión
Selección de GPU
ModeloPesos y cache KV
Estado de validaciónContexto y concurrencia
Preparación del entorno de ejecuciónvLLM, SGLang
Objetivo de conservación de calidad
CuantizaciónEstimado hasta su medición durante la ingeniería
VRAM estimadaValidado por versión
Preparación del entorno de ejecuciónMedido