पहले → बाद में
आधार रिलीज़सत्यापित चेकपॉइंट
107.710B
107.710B
quantizationBF16
गुणवत्ता संरक्षण लक्ष्य
गुणवत्ता संरक्षण लक्ष्य
प्रोडक्शन आर्टिफैक्टआर्टिफैक्ट
वंशावली और बेंचमार्क रिपोर्ट
वंशावली और बेंचमार्क रिपोर्ट
GPU लक्ष्यीकरण
वेट और KV कैशइंजीनियरिंग मापन तक अनुमानित
अनुमानित VRAMमापे और प्रमाणित परिणाम प्रोजेक्ट के साथ दिए जाते हैं।
रनटाइम पैकेजिंगtransformers, vllm, sglang
पारदर्शी मूल्य
वर्तमान में ऑर्डर योग्य नहीं