GGUF
Quantização GGUF
A precisão, a memória, o contexto e a compatibilidade do ambiente de execução são avaliados com base nas evidências da versão antes de o produto ficar disponível para encomenda.
Quantização
BF16 / FP16Origem
FP8 / INT8VRAM estimada
INT4Validado por versão
Seleção de GPU
ModeloPesos e cache KV
Estado de validaçãoContexto e concorrência
Preparação do ambiente de execuçãovLLM, SGLang
Objetivo de retenção de qualidade
QuantizaçãoEstimado até à medição durante a engenharia
VRAM estimadaValidado por versão
Preparação do ambiente de execuçãoMedido