ERNIE-4.5-21B-A3B-Thinking
baidu/ERNIE-4.5-21B-A3B-Thinking
官方 · BF16 · safetensors
已验证运行环境: Fastdeploy vLLM Transformers
| 精度 / 量化 | 格式 | 位数 | 发布者可信度 | 部署状态 |
|---|---|---|---|---|
| BF16 | safetensors | 16 | 官方 | 已验证运行环境 |
总参数21.0B
激活参数3.0B
上下文窗口131,072 tokens
版本状态当前 · 当前
架构Ernie4_5_MoeForCausalLM
模态文本
许可证apache-2.0
部署状态具备认证配置，可部署
商业状态允许商业使用
发布日期2025-09-08
架构、优势与用途
ERNIE 4.5 21B-A3B Thinking 是 Baidu 在 ERNIE 推理分支中的官方可自托管版本，采用 Ernie4_5_MoeForCausalLM、21B / 3B MoE，认证上下文为 131,072 Token。
ERNIE 4.5 21B-A3B Thinking 使用 Ernie4_5_MoeForCausalLM 和 21B / 3B MoE。官方资料发布时记录 28 层、隐藏维度 2560 和 20 个注意力头。
已验证的 Ernie4_5_MoeForCausalLM 架构
131,072 Token 认证上下文
官方检查点来源
私有 LLM 推理
智能体工作流
长文档处理
已认证检查点与量化
仅显示与此版本关联并经来源认证的精确变体。
推荐硬件
仅使用与精确检查点精度匹配的认证运行时组合。硬件排序会检查权重、KV 缓存、开销、GPU 架构与拓扑。
估算权重内存40.29 GB
KV 缓存0.44 GB
运行时开销12.05 GB
含安全余量总计65.44 GB
推荐性价比方案
1× NVIDIA H200 SXM 141GB
141 GB 总 VRAM · nvswitch
75.56 GB 余量 · 容量有限
USD 2,345 / 月最低成本可行方案
3× NVIDIA L4 24GB
72 GB 总 VRAM · pcie
6.56 GB 余量 · 可用
USD 750 / 月最高性能
1× NVIDIA H200 SXM 141GB
141 GB 总 VRAM · nvswitch
75.56 GB 余量 · 容量有限
USD 2,345 / 月许可证与自托管注意事项
全部 21 B 常驻权重必须装入所选 GPU；上下文与并发会增加 KV 缓存。
ERNIE 4.5 21B-A3B Thinking 采用 apache-2.0 发布，并保留版本级官方 URL 与验证日期。
允许商业使用. 官方许可允许商业使用，但仍须遵守其全部义务。
发布历程
baidu/ernie/ernie-4-5-21b-a3b-thinking
常见问题
ERNIE 4.5 21B-A3B Thinking 需要多少 VRAM？
估算取决于精度、上下文和并发，并使用认证数据。
哪些运行时支持 ERNIE 4.5 21B-A3B Thinking？
fastdeploy, vllm, transformers 已有认证的上游证据。
ERNIE 4.5 21B-A3B Thinking 可用于商业用途吗？
存储分类为允许商业使用；请查阅官方 apache-2.0 条款。
官方来源
最近验证: 2026-09-03