INT8
INT8 কোয়ান্টাইজেশন
অর্ডার চালু হওয়ার আগে সংস্করণের প্রমাণ অনুযায়ী সংখ্যাগত প্রিসিশন, মেমরি, প্রসঙ্গদৈর্ঘ্য ও রানটাইমে উপযোগিতা মূল্যায়ন করা হয়।
কোয়ান্টাইজেশন
BF16 / FP16উৎস
FP8 / INT8আনুমানিক VRAM
INT4প্রতিটি সংস্করণের জন্য যাচাইকৃত
GPU নির্বাচন
মডেলওয়েট ও KV ক্যাশ
যাচাইয়ের অবস্থাপ্রসঙ্গদৈর্ঘ্য ও একসঙ্গে কাজের সংখ্যা
রানটাইম প্যাকেজ তৈরিvLLM, SGLang
মান ধরে রাখার লক্ষ্য
কোয়ান্টাইজেশনইঞ্জিনিয়ারিংয়ে পরিমাপ না হওয়া পর্যন্ত অনুমিত
আনুমানিক VRAMপ্রতিটি সংস্করণের জন্য যাচাইকৃত
রানটাইম প্যাকেজ তৈরিপরিমাপ করা