Архитектура, преимущества и сценарии
ERNIE 4.5 21B-A3B Thinking — официальная модель Baidu для самостоятельного хостинга в направлении ERNIE Рассуждение. Архитектура Ernie4_5_MoeForCausalLM, 21B / 3B MoE и проверенный контекст 131,072 токенов.
ERNIE 4.5 21B-A3B Thinking использует Ernie4_5_MoeForCausalLM с 21B / 3B MoE. Профиль содержит 28 слоев, ширину 2560 и 20 голов внимания, если они опубликованы.
Проверенная архитектура Ernie4_5_MoeForCausalLM
Сертифицированный контекст 131,072 токенов
Официальное происхождение чекпоинта
Частный LLM-инференс
Агентные процессы
Обработка длинных документов