Mistral / Devstral Small 2 24B
Devstral Small 2 24B के लिए FP8 क्वांटाइज़ेशन
दिखाई गई प्रोफ़ाइल अनुमानित है; चयनित मॉडल और हार्डवेयर पर इंजीनियरिंग मापन किया जाता है।
पहले → बाद में
आधार रिलीज़सत्यापित चेकपॉइंट
24.000B
24.000B
क्वांटाइज़ेशनFP8
गुणवत्ता संरक्षण लक्ष्य
गुणवत्ता संरक्षण लक्ष्य
प्रोडक्शन आर्टिफैक्टआर्टिफैक्ट
मॉडल स्रोत और प्रदर्शन-मूल्यांकन रिपोर्ट
मॉडल स्रोत और प्रदर्शन-मूल्यांकन रिपोर्ट
GPU चयन
वेट और KV कैशइंजीनियरिंग मापन तक अनुमानित
अनुमानित VRAMमापे और प्रमाणित परिणाम प्रोजेक्ट के साथ दिए जाते हैं।
रनटाइम पैकेजिंगtransformers, vllm, sglang