মূল content-এ যান

ERNIE · যুক্তি · ERNIE 4.5 Thinking

ERNIE 4.5 21B-A3B Thinking: বৈশিষ্ট্য, GPU প্রয়োজন, hosting ও deployment

ERNIE 4.5 21B-A3B Thinking is a current Reasoning release in the ERNIE family, certified from its immutable official source revision.

Technical deployment reference illustration for ERNIE 4.5 21B-A3B Thinking
Reference deployment flow; exact architecture facts are listed separately.
মোট প্যারামিটার২১.০B
সক্রিয় প্যারামিটার৩.০B
প্রসঙ্গ-উইন্ডো১,৩১,০৭২ tokens
প্রকাশনার অবস্থাবর্তমান · বর্তমান
স্থাপত্যErnie4_5_MoeForCausalLM
মোডালিটিটেক্সট
লাইসেন্সapache-2.0
স্থাপনার অবস্থাসনদপ্রাপ্ত কনফিগারেশনে স্থাপনযোগ্য
বাণিজ্যিক অবস্থাবাণিজ্যিক ব্যবহার অনুমোদিত
প্রকাশের তারিখ2025-09-08

স্থাপত্য, শক্তির দিক ও ব্যবহার

ERNIE 4.5 21B-A3B Thinking is an official self-hostable Baidu release in the ERNIE Reasoning track. It uses Ernie4_5_MoeForCausalLM, carries 21B / 3B MoE, supports a verified context window of 131,072 টোকেন, and exposes only source-certified checkpoint and runtime combinations. Its release, license and deployment facts are tied to the official repository revision rather than inferred from the family name.

ERNIE 4.5 21B-A3B Thinking uses Ernie4_5_MoeForCausalLM with 21B / 3B MoE. The stored architecture profile records 28 layers, hidden width 2560, 20 attention heads and a 131,072 টোকেন context ceiling where the official configuration publishes those fields.

Verified Ernie4_5_MoeForCausalLM architecture
131,072 টোকেন certified context
Official BF16, Unknown checkpoint coverage
Private LLM inference
Agentic workflows
Long-context document processing

সনদপ্রাপ্ত checkpoint ও quantization

শুধু এই release-এর সঙ্গে যুক্ত নির্দিষ্ট, উৎস-সনদপ্রাপ্ত variant দেখানো হয়।

ERNIE-4.5-21B-A3B-Thinking

baidu/ERNIE-4.5-21B-A3B-Thinking

সরকারি · BF16 · safetensors

Runtime সনদপ্রাপ্ত: Fastdeploy vLLM Transformers

Precision / quantizationফরম্যাটবিটপ্রকাশকের বিশ্বাসযোগ্যতাস্থাপনার অবস্থা
BF16safetensors16সরকারিRuntime সনদপ্রাপ্ত

প্রস্তাবিত হার্ডওয়্যার

Use only the listed fastdeploy, vllm, transformers runtime configuration with the exact checkpoint precision. The recommendation engine checks weight memory, KV cache, runtime overhead, safety অতিরিক্ত সক্ষমতার অবকাশ, GPU architecture and topology before ranking rentable and reference hardware.

Weight-এর আনুমানিক memory40.29 GB
KV cache0.44 GB
চালনার অতিরিক্ত সম্পদব্যয়12.05 GB
নিরাপত্তা মার্জিনসহ মোট65.44 GB

সেরা মূল্য-সুবিধার প্রস্তাব

1× NVIDIA H200 SXM 141GB

141 GB মোট VRAM · nvswitch

75.56 GB অতিরিক্ত সক্ষমতা · সীমিত সক্ষমতা

USD ২,৩৪৫ / মাস

সর্বনিম্ন ব্যয়ের কার্যকর বিকল্প

3× NVIDIA L4 24GB

72 GB মোট VRAM · pcie

6.56 GB অতিরিক্ত সক্ষমতা · উপলভ্য

USD ৭৫০ / মাস

সর্বোচ্চ কর্মক্ষমতা

1× NVIDIA H200 SXM 141GB

141 GB মোট VRAM · nvswitch

75.56 GB অতিরিক্ত সক্ষমতা · সীমিত সক্ষমতা

USD ২,৩৪৫ / মাস

লাইসেন্স ও নিজস্ব অবকাঠামোয় চালানোর বিবেচনা

The full 21B resident weight set must fit across the selected GPUs. Context and concurrency add KV-cache memory; MoE active parameters do not replace resident-weight memory.

ERNIE 4.5 21B-A3B Thinking is published under apache-2.0. The release-scoped official license link and verification date are retained with the catalogue record.

বাণিজ্যিক ব্যবহার অনুমোদিত. সরকারি লাইসেন্সে বাণিজ্যিক ব্যবহারের অনুমতি আছে; লাইসেন্সের শর্তগুলো তবুও প্রযোজ্য।

Release-এর সময়রেখা

baidu/ernie/ernie-4-5-21b-a3b-thinking

উৎসের বিবরণ

সরকারি উৎস

উৎস revision: aa54548a750802c4c7471b17b3a3b850f3f4b0465a2cf4c43f0d1dd9c9dc5297

সাধারণ জিজ্ঞাসা

How much VRAM does ERNIE 4.5 21B-A3B Thinking require?

The exact estimate depends on checkpoint precision, context and concurrency; the page recommendation uses the certified memory engine and compatible runtime configurations.

Which runtime সহায়তা ERNIE 4.5 21B-A3B Thinking?

Certified upstream runtime evidence is available for fastdeploy, vllm, transformers.

Can ERNIE 4.5 21B-A3B Thinking be used commercially?

The stored commercial classification is Commercial Use Allowed. Consult the official apache-2.0 terms for the final obligations.

সরকারি তথ্যসূত্র

সর্বশেষ যাচাই: 2026-09-03