मुख्य सामग्री पर जाएं

ERNIE · तर्क · ERNIE 4.5 Thinking

ERNIE 4.5 21B-A3B Thinking: विनिर्देश, GPU आवश्यकताएँ, होस्टिंग और परिनियोजन

ERNIE 4.5 21B-A3B Thinking, ERNIE परिवार की तर्क शाखा में वर्तमान संस्करण है और आधिकारिक revision से प्रमाणित है।

ERNIE 4.5 21B-A3B Thinking के लिए तकनीकी परिनियोजन चित्र
संदर्भ प्रवाह; सटीक तथ्य अलग सूचीबद्ध हैं।
कुल पैरामीटर२१.०B
सक्रिय पैरामीटर३.०B
संदर्भ सीमा१,३१,०७२ tokens
संस्करण स्थितिवर्तमान · वर्तमान
वास्तुकलाErnie4_5_MoeForCausalLM
मोडैलिटीपाठ
लाइसेंसapache-2.0
परिनियोजन स्थितिप्रमाणित कॉन्फ़िगरेशन के साथ तैनाती के लिए तैयार
वाणिज्यिक स्थितिव्यावसायिक उपयोग अनुमत
जारी होने की तारीख2025-09-08

आर्किटेक्चर, खूबियाँ और उपयोग

ERNIE 4.5 21B-A3B Thinking, Baidu का आधिकारिक स्व-होस्ट योग्य संस्करण है। यह ERNIE तर्क शाखा में Ernie4_5_MoeForCausalLM, 21B / 3B MoE और 131,072 टोकन सत्यापित संदर्भ उपयोग करता है।

ERNIE 4.5 21B-A3B Thinking Ernie4_5_MoeForCausalLM और 21B / 3B MoE उपयोग करता है। प्रकाशित होने पर 28 परतें, hidden width 2560 और 20 attention heads दर्ज हैं।

सत्यापित Ernie4_5_MoeForCausalLM आर्किटेक्चर
131,072 टोकन प्रमाणित संदर्भ
आधिकारिक चेकपॉइंट स्रोत
निजी LLM इन्फ़रेंस
एजेंट वर्कफ़्लो
लंबे दस्तावेज़ संसाधन

प्रमाणित चेकपॉइंट और क्वांटाइज़ेशन

केवल इस संस्करण से जुड़े सटीक और स्रोत-प्रमाणित वैरिएंट दिखाए जाते हैं।

ERNIE-4.5-21B-A3B-Thinking

baidu/ERNIE-4.5-21B-A3B-Thinking

आधिकारिक · BF16 · safetensors

सत्यापित निष्पादन परिवेश: Fastdeploy vLLM Transformers

प्रिसीजन / क्वांटाइज़ेशनप्रारूपबिटप्रकाशक भरोसापरिनियोजन स्थिति
BF16safetensors16आधिकारिकसत्यापित निष्पादन परिवेश

अनुशंसित हार्डवेयर

सटीक चेकपॉइंट प्रिसीजन के साथ केवल प्रमाणित रनटाइम कॉन्फ़िगरेशन उपयोग करें। रैंकिंग वेट, केवी कैश, ओवरहेड, GPU आर्किटेक्चर और टोपोलॉजी जाँचती है।

अनुमानित वेट मेमोरी40.29 GB
केवी कैश0.44 GB
रनटाइम ओवरहेड12.05 GB
सुरक्षा मार्जिन सहित कुल65.44 GB

अनुशंसित सर्वोत्तम मूल्य

1× NVIDIA H200 SXM 141GB

141 GB कुल VRAM · nvswitch

75.56 GB मार्जिन · सीमित क्षमता

USD २,३४५ / माह

सबसे कम लागत वाला उपयुक्त विकल्प

3× NVIDIA L4 24GB

72 GB कुल VRAM · pcie

6.56 GB मार्जिन · उपलब्ध

USD ७५० / माह

सर्वोच्च प्रदर्शन

1× NVIDIA H200 SXM 141GB

141 GB कुल VRAM · nvswitch

75.56 GB मार्जिन · सीमित क्षमता

USD २,३४५ / माह

लाइसेंस और स्व-होस्टिंग विचार

पूरे 21 B निवासी वेट चयनित GPUs पर समाने चाहिए। संदर्भ और concurrency केवी कैश बढ़ाते हैं।

ERNIE 4.5 21B-A3B Thinking apache-2.0 के अंतर्गत जारी है। आधिकारिक URL और सत्यापन तारीख सुरक्षित हैं।

व्यावसायिक उपयोग अनुमत. आधिकारिक लाइसेंस व्यावसायिक उपयोग की अनुमति देता है; उसकी सभी शर्तें लागू रहती हैं।

रिलीज़ क्रम

baidu/ernie/ernie-4-5-21b-a3b-thinking

स्रोत का विवरण

आधिकारिक स्रोत

स्रोत संशोधन: aa54548a750802c4c7471b17b3a3b850f3f4b0465a2cf4c43f0d1dd9c9dc5297

सामान्य प्रश्न

ERNIE 4.5 21B-A3B Thinking को कितनी VRAM चाहिए?

अनुमान चेकपॉइंट प्रिसीजन, संदर्भ और concurrency पर निर्भर है और प्रमाणित डेटा उपयोग करता है।

कौन से रनटाइम ERNIE 4.5 21B-A3B Thinking को समर्थन देते हैं?

fastdeploy, vllm, transformers के लिए आधिकारिक प्रमाण सत्यापित हैं।

क्या ERNIE 4.5 21B-A3B Thinking का वाणिज्यिक उपयोग हो सकता है?

संग्रहीत वर्गीकरण व्यावसायिक उपयोग अनुमत है। आधिकारिक apache-2.0 शर्तें देखें।

आधिकारिक स्रोत

अंतिम सत्यापन: 2026-09-03