OLMo / OLMo 2 32B

OLMo 2 32B-এর জন্য BF16

প্রকাশিত প্রোফাইলটি নির্দেশনামূলক; নির্বাচিত মডেল ও হার্ডওয়্যারের জন্য ইঞ্জিনিয়ারিংয়ে পরিমাপ সম্পন্ন হয়।

আগে → পরে

ভিত্তি সংস্করণযাচাইকৃত চেকপয়েন্ট
32.000B

কোয়ান্টাইজেশনBF16
মান ধরে রাখার লক্ষ্য

প্রোডাকশন পরিবেশে ব্যবহারের আর্টিফ্যাক্টআর্টিফ্যাক্ট
উৎসধারা ও মানদণ্ড পরীক্ষার প্রতিবেদন

ওয়েট ও KV ক্যাশ

ইঞ্জিনিয়ারিংয়ে পরিমাপ না হওয়া পর্যন্ত অনুমিত

আনুমানিক VRAM

পরিমাপ করা

রানটাইম প্যাকেজ তৈরি

transformers

বর্তমানে অর্ডার করা যাচ্ছে না