ERNIE / ERNIE 4.5 21B-A3B
ERNIE 4.5 21B-A3B के लिए BF16 क्वांटाइज़ेशन
दिखाई गई प्रोफ़ाइल अनुमानित है; चयनित मॉडल और हार्डवेयर पर इंजीनियरिंग मापन किया जाता है।
पहले → बाद में
आधार रिलीज़सत्यापित चेकपॉइंट
21.000B
21.000B
क्वांटाइज़ेशनBF16
गुणवत्ता संरक्षण लक्ष्य
गुणवत्ता संरक्षण लक्ष्य
प्रोडक्शन आर्टिफैक्टआर्टिफैक्ट
मॉडल स्रोत और प्रदर्शन-मूल्यांकन रिपोर्ट
मॉडल स्रोत और प्रदर्शन-मूल्यांकन रिपोर्ट
GPU चयन
वेट और KV कैशइंजीनियरिंग मापन तक अनुमानित
अनुमानित VRAMमापे और प्रमाणित परिणाम प्रोजेक्ट के साथ दिए जाते हैं।
रनटाइम पैकेजिंगfastdeploy
पारदर्शी मूल्य
वर्तमान में ऑर्डर योग्य नहीं