Архитектура, преимущества и сценарии
ERNIE 4.5 300B-A47B — официальная модель Baidu для самостоятельного хостинга в направлении ERNIE Общий. Архитектура Ernie4_5_MoeForCausalLM, 300B / 47B MoE и проверенный контекст 131,072 токенов.
ERNIE 4.5 300B-A47B использует Ernie4_5_MoeForCausalLM с 300B / 47B MoE. Профиль содержит 54 слоев, ширину 8192 и 64 голов внимания, если они опубликованы.
Проверенная архитектура Ernie4_5_MoeForCausalLM
Сертифицированный контекст 131,072 токенов
Официальное происхождение чекпоинта
Частный LLM-инференс
Агентные процессы
Обработка длинных документов