Architecture, points forts et usages
ERNIE 4.5 21B-A3B est une version officielle auto-hébergeable de Baidu dans la branche ERNIE Général. Elle utilise Ernie4_5_MoeForCausalLM avec 21B / 3B MoE et un contexte vérifié de 131,072 tokens.
ERNIE 4.5 21B-A3B utilise Ernie4_5_MoeForCausalLM avec 21B / 3B MoE. Le profil vérifié indique 28 couches, une largeur cachée de 2560 et 20 têtes d’attention lorsque ces valeurs sont publiées.
Architecture Ernie4_5_MoeForCausalLM vérifiée
Contexte certifié de 131,072 tokens
Provenance officielle du checkpoint
Inférence LLM privée
Flux agentiques
Traitement de documents longs