GGUF
Quantification GGUF
La précision, la mémoire, le contexte et la compatibilité avec l’environnement d’exécution sont évalués à partir des données de la version avant qu’une commande soit disponible.
Quantification
BF16 / FP16Source
FP8 / INT8VRAM estimée
INT4Validé par version
Sélection du GPU
ModèlePoids et cache KV
État de validationContexte et concurrence
Préparation de l’environnement d’exécutionvLLM, SGLang
Objectif de préservation de la qualité
QuantificationEstimation jusqu’aux mesures d’ingénierie
VRAM estiméeValidé par version
Préparation de l’environnement d’exécutionMesuré