Архитектура, преимущества и сценарии
Mistral Small 4 119B A6B — официальная модель Mistral AI для самостоятельного хостинга в направлении Mistral Компактная универсальная модель. Архитектура Mistral3ForConditionalGeneration, 119B / 6B MoE и проверенный контекст 1,048,576 токенов.
Mistral Small 4 119B A6B использует Mistral3ForConditionalGeneration с 119B / 6B MoE. Профиль содержит 36 слоев, ширину 4096 и 32 голов внимания, если они опубликованы.
Проверенная архитектура Mistral3ForConditionalGeneration
Сертифицированный контекст 1,048,576 токенов
Официальное происхождение чекпоинта
Частный LLM-инференс
Агентные процессы
Обработка длинных документов