INT8
تكميم INT8
تقيّم الدقة والذاكرة والسياق وملاءمة بيئة التشغيل من أدلة الإصدار قبل إتاحة الطلب.
التكميم
BF16 / FP16المصدر
FP8 / INT8VRAM المقدّرة
INT4متحقق لكل إصدار
اختيار GPU
النموذجالأوزان وذاكرة KV المؤقتة
حالة التحققالسياق والتزامن
حزمة بيئة التشغيلvLLM, SGLang
هدف الحفاظ على الجودة
التكميمتقدير حتى القياس الهندسي
VRAM المقدّرةمتحقق لكل إصدار
حزمة بيئة التشغيلمقاس