ERNIE-4.5-21B-A3B-Paddle
baidu/ERNIE-4.5-21B-A3B-Paddle
आधिकारिक · BF16 · safetensors
सत्यापित निष्पादन परिवेश: Fastdeploy
| प्रिसीजन / क्वांटाइज़ेशन | प्रारूप | बिट | प्रकाशक भरोसा | परिनियोजन स्थिति |
|---|---|---|---|---|
| BF16 | safetensors | 16 | आधिकारिक | सत्यापित निष्पादन परिवेश |
ERNIE · सामान्य · ERNIE 4.5
ERNIE 4.5 21B-A3B: विनिर्देश, GPU आवश्यकताएँ, होस्टिंग और परिनियोजन
ERNIE 4.5 21B-A3B, ERNIE परिवार की सामान्य शाखा में वर्तमान संस्करण है और आधिकारिक revision से प्रमाणित है।
कुल पैरामीटर२१.०B
सक्रिय पैरामीटर३.०B
संदर्भ सीमा१,३१,०७२ tokens
संस्करण स्थितिवर्तमान · वर्तमान
वास्तुकलाErnie4_5_MoeForCausalLM
मोडैलिटीपाठ
लाइसेंसapache-2.0
परिनियोजन स्थितिप्रमाणित कॉन्फ़िगरेशन के साथ तैनाती के लिए तैयार
वाणिज्यिक स्थितिव्यावसायिक उपयोग अनुमत
जारी होने की तारीख2025-06-28
आर्किटेक्चर, खूबियाँ और उपयोग
ERNIE 4.5 21B-A3B, Baidu का आधिकारिक स्व-होस्ट योग्य संस्करण है। यह ERNIE सामान्य शाखा में Ernie4_5_MoeForCausalLM, 21B / 3B MoE और 131,072 टोकन सत्यापित संदर्भ उपयोग करता है।
ERNIE 4.5 21B-A3B Ernie4_5_MoeForCausalLM और 21B / 3B MoE उपयोग करता है। प्रकाशित होने पर 28 परतें, hidden width 2560 और 20 attention heads दर्ज हैं।
सत्यापित Ernie4_5_MoeForCausalLM आर्किटेक्चर
131,072 टोकन प्रमाणित संदर्भ
आधिकारिक चेकपॉइंट स्रोत
निजी LLM इन्फ़रेंस
एजेंट वर्कफ़्लो
लंबे दस्तावेज़ संसाधन
प्रमाणित चेकपॉइंट और क्वांटाइज़ेशन
केवल इस संस्करण से जुड़े सटीक और स्रोत-प्रमाणित वैरिएंट दिखाए जाते हैं।
अनुशंसित हार्डवेयर
सटीक चेकपॉइंट प्रिसीजन के साथ केवल प्रमाणित रनटाइम कॉन्फ़िगरेशन उपयोग करें। रैंकिंग वेट, केवी कैश, ओवरहेड, GPU आर्किटेक्चर और टोपोलॉजी जाँचती है।
अनुमानित वेट मेमोरी40.29 GB
केवी कैश0.44 GB
रनटाइम ओवरहेड12.05 GB
सुरक्षा मार्जिन सहित कुल65.44 GB
अनुशंसित सर्वोत्तम मूल्य
1× NVIDIA H200 SXM 141GB
141 GB कुल VRAM · nvswitch
75.56 GB मार्जिन · सीमित क्षमता
USD २,३४५ / माहसबसे कम लागत वाला उपयुक्त विकल्प
3× NVIDIA L4 24GB
72 GB कुल VRAM · pcie
6.56 GB मार्जिन · उपलब्ध
USD ७५० / माहसर्वोच्च प्रदर्शन
1× NVIDIA H200 SXM 141GB
141 GB कुल VRAM · nvswitch
75.56 GB मार्जिन · सीमित क्षमता
USD २,३४५ / माहलाइसेंस और स्व-होस्टिंग विचार
पूरे 21 B निवासी वेट चयनित GPUs पर समाने चाहिए। संदर्भ और concurrency केवी कैश बढ़ाते हैं।
ERNIE 4.5 21B-A3B apache-2.0 के अंतर्गत जारी है। आधिकारिक URL और सत्यापन तारीख सुरक्षित हैं।
व्यावसायिक उपयोग अनुमत. आधिकारिक लाइसेंस व्यावसायिक उपयोग की अनुमति देता है; उसकी सभी शर्तें लागू रहती हैं।
विकल्प और समान-पीढ़ी वैरिएंट
ERNIE 4.5 300B-A47B
चयनित तुलनाएँ
रिलीज़ क्रम
baidu/ernie/ernie-4-5-21b-a3b
स्रोत का विवरण
स्रोत संशोधन: 55376fc68504404a927791015701e9c8b79b9a55d204aa833581c936fab6aeca
सामान्य प्रश्न
ERNIE 4.5 21B-A3B को कितनी VRAM चाहिए?
अनुमान चेकपॉइंट प्रिसीजन, संदर्भ और concurrency पर निर्भर है और प्रमाणित डेटा उपयोग करता है।
कौन से रनटाइम ERNIE 4.5 21B-A3B को समर्थन देते हैं?
fastdeploy के लिए आधिकारिक प्रमाण सत्यापित हैं।
क्या ERNIE 4.5 21B-A3B का वाणिज्यिक उपयोग हो सकता है?
संग्रहीत वर्गीकरण व्यावसायिक उपयोग अनुमत है। आधिकारिक apache-2.0 शर्तें देखें।
आधिकारिक स्रोत
अंतिम सत्यापन: 2026-09-03