GLM / GLM-5
GLM-5-এর জন্য FP8
প্রকাশিত প্রোফাইলটি নির্দেশনামূলক; নির্বাচিত মডেল ও হার্ডওয়্যারের জন্য ইঞ্জিনিয়ারিংয়ে পরিমাপ সম্পন্ন হয়।
আগে → পরে
ভিত্তি সংস্করণযাচাইকৃত চেকপয়েন্ট
744.000B
744.000B
কোয়ান্টাইজেশনFP8
মান ধরে রাখার লক্ষ্য
মান ধরে রাখার লক্ষ্য
প্রোডাকশন পরিবেশে ব্যবহারের আর্টিফ্যাক্টআর্টিফ্যাক্ট
উৎসধারা ও মানদণ্ড পরীক্ষার প্রতিবেদন
উৎসধারা ও মানদণ্ড পরীক্ষার প্রতিবেদন
GPU নির্বাচন
ওয়েট ও KV ক্যাশইঞ্জিনিয়ারিংয়ে পরিমাপ না হওয়া পর্যন্ত অনুমিত
আনুমানিক VRAMপরিমাপ করা
রানটাইম প্যাকেজ তৈরিtransformers