Architecture, points forts et usages
Mistral Small 4 119B A6B est une version officielle auto-hébergeable de Mistral AI dans la branche Mistral Modèle généraliste compact. Elle utilise Mistral3ForConditionalGeneration avec 119B / 6B MoE et un contexte vérifié de 1,048,576 tokens.
Mistral Small 4 119B A6B utilise Mistral3ForConditionalGeneration avec 119B / 6B MoE. Le profil vérifié indique 36 couches, une largeur cachée de 4096 et 32 têtes d’attention lorsque ces valeurs sont publiées.
Architecture Mistral3ForConditionalGeneration vérifiée
Contexte certifié de 1,048,576 tokens
Provenance officielle du checkpoint
Inférence LLM privée
Flux agentiques
Traitement de documents longs