Пакет дистилляции для Granite 3.3 8B

Происхождение преобразования

Профиль пакета: Дистилляция с оптимизацией пропускной способности. Архитектура ученической модели выбирается и оценивается в рамках инженерных работ. Это не означает, что готовая ученическая модель или её чекпойнт уже существуют.

Точность исходного чекпойнта

Указано в каталоге

Для зарегистрированного исходного чекпойнта указано BF16. Его источник, ревизия и дата проверки приведены ниже; они не выводятся из целевого формата.

Целевая точность

Определяется в рамках согласованных инженерных работ

Архитектура student-модели, чекпойнт и точность определяются в рамках согласованных работ по дистилляции. Эта запись не означает, что student-чекпойнт уже существует.

Объем поставляемых результатов

Определяется в рамках согласованных инженерных работ

Эта покупка предусматривает указанные инженерные работы и оценку для конкретного релиза. Выбранный способ поставки и принятое коммерческое предложение определяют состав передачи; готовый артефакт не становится доступен для немедленного скачивания.

• Проверенный артефакт преобразованной модели
• Токенизатор и конфигурация модели
• Конфигурация среды выполнения для выбранного способа поставки
• Контрольные суммы и манифест версии
• Отчёт по бенчмаркам

Скачивание: передача согласованных артефактов модели, токенизатора и конфигурации, манифеста версии и контрольных сумм после инженерных работ и проверки, с учетом лицензии на исходный материал.

Хостинг: развертывание согласованного результата в выбранной конфигурации хостинга. Выделение GPU и регулярные платежи рассчитываются отдельно от разовых инженерных работ.

Скачивание + хостинг: передача согласованного артефакта и развертывание в хостинге с учетом применимых требований к лицензии и хостингу.

Оценка: настроенные работы по оценке и итоговый отчет. До проведения измерений не гарантируются результаты производительности или показатель сохранения качества.

Целевой GPU

Не относится к этой поставке

В эту конфигурацию для скачивания не входит GPU для хостинга. Целевую среду развертывания можно согласовать отдельно; универсальная совместимость с GPU не подразумевается.

Соответствие требованиям к памяти

Не относится к этой поставке

В этом пакете для скачивания не задано развертывание в хостинге. Требования к памяти необходимо оценить для выбранных клиентом среды выполнения и рабочей нагрузки.

Данные бенчмаркинга

Определяется в рамках согласованных инженерных работ

Для этого пакета не зарегистрирован полный измеренный бенчмарк. Измерения проводятся в рамках согласованной оценки на точном результате, оборудовании, среде выполнения и настройках. Оценки не являются результатами измерений.

Способ поставки

Указано в каталоге

Скачать пакет

Значения инженерного статуса

Проект проверен: подход к преобразованию специфицирован для допустимого исходного релиза. Это не означает наличия готового student- или преобразованного артефакта либо измеренных результатов.

Ограничения поставки

Настроенная поставка: Скачать пакет

Варианты поставки: Скачать пакет / Хостинг FusionPointAI / Скачать и разместить

Источник и лицензия

Официальный источник версии

Условия лицензии

Подробнее: Granite 3.3 8B

Сравнить связанные модели

Происхождение преобразования

Точность исходной модели: BF16

Целевая точность: Определяется в рамках согласованных инженерных работ

Операции преобразования: Дистилляция, Оценка и сравнительное тестирование

Топология GPU

Целевая GPU: Не относится к этой поставке

Подготовка среды выполнения: transformers