কোয়ান্টাইজেশন
কোয়ান্টাইজেশন
অর্ডার চালু হওয়ার আগে সংস্করণের প্রমাণ অনুযায়ী সংখ্যাগত প্রিসিশন, মেমরি, প্রসঙ্গদৈর্ঘ্য ও রানটাইমে উপযোগিতা মূল্যায়ন করা হয়।
কোয়ান্টাইজেশন
BF16 / FP16উৎস
FP8 / INT8আনুমানিক VRAM
INT4প্রতিটি সংস্করণের জন্য যাচাইকৃত
GPU নির্বাচন
মডেলওয়েট ও KV ক্যাশ
যাচাইয়ের অবস্থাপ্রসঙ্গদৈর্ঘ্য ও একসঙ্গে কাজের সংখ্যা
রানটাইম প্যাকেজ তৈরিvLLM, SGLang
মান ধরে রাখার লক্ষ্য
কোয়ান্টাইজেশনইঞ্জিনিয়ারিংয়ে পরিমাপ না হওয়া পর্যন্ত অনুমিত
আনুমানিক VRAMপ্রতিটি সংস্করণের জন্য যাচাইকৃত
রানটাইম প্যাকেজ তৈরিপরিমাপ করা
স্বচ্ছ মূল্য
বর্তমানে অর্ডার করা যাচ্ছে না