GGUF
د GGUF کوانټایزېشن
د فرمایش تر شته کېدو مخکې precision، حافظه، context او د اجرا چاپېریال برابرښت د نسخې له شواهدو ارزول کېږي.
Quantization
BF16 / FP16سرچینه
FP8 / INT8اټکلي VRAM
INT4د هرې نسخې لپاره تایید شوی
د GPU ټاکنه
ماډلوزنونه او KV cache
د تایید حالتContext او هممهالي اجرا
د اجرا چاپېریال بستهبنديvLLM, SGLang
د کیفیت ساتنې هدف
Quantizationتر انجنیري اندازهګیرۍ پورې اټکلي
اټکلي VRAMد هرې نسخې لپاره تایید شوی
د اجرا چاپېریال بستهبندياندازه شوی