Arquitectura, fortalezas y usos
ERNIE 4.5 21B-A3B es una versión oficial autoalojable de Baidu en la línea ERNIE General. Usa Ernie4_5_MoeForCausalLM con 21B / 3B MoE y un contexto verificado de 131,072 tokens.
ERNIE 4.5 21B-A3B usa Ernie4_5_MoeForCausalLM con 21B / 3B MoE. El perfil registra 28 capas, ancho oculto 2560 y 20 cabezas de atención cuando se publican.
Arquitectura Ernie4_5_MoeForCausalLM verificada
Contexto certificado de 131,072 tokens
Proveniencia oficial del checkpoint
Inferencia LLM privada
Flujos con agentes
Documentos de contexto largo