Производственный пакет FP8 для модели Step3-VL 10B

Происхождение преобразования

Точность исходного чекпойнта

Определяется в рамках согласованных инженерных работ

Для этого релиза зарегистрировано несколько форматов чекпойнтов. Точный входной чекпойнт и его ревизию необходимо согласовать при уточнении объема до начала инженерных работ.

Целевая точность

Указано в каталоге

В спецификации пакета FP8 указан как целевой формат. Это инженерная спецификация, а не подтверждение готовности артефакта или измеренного качества.

Объем поставляемых результатов

Определяется в рамках согласованных инженерных работ

Эта покупка предусматривает указанные инженерные работы и оценку для конкретного релиза. Выбранный способ поставки и принятое коммерческое предложение определяют состав передачи; готовый артефакт не становится доступен для немедленного скачивания.

• Проверенный артефакт преобразованной модели
• Токенизатор и конфигурация модели
• Конфигурация среды выполнения для выбранного способа поставки
• Контрольные суммы и манифест версии
• Отчёт по бенчмаркам

Скачивание: передача согласованных артефактов модели, токенизатора и конфигурации, манифеста версии и контрольных сумм после инженерных работ и проверки, с учетом лицензии на исходный материал.

Хостинг: развертывание согласованного результата в выбранной конфигурации хостинга. Выделение GPU и регулярные платежи рассчитываются отдельно от разовых инженерных работ.

Скачивание + хостинг: передача согласованного артефакта и развертывание в хостинге с учетом применимых требований к лицензии и хостингу.

Оценка: настроенные работы по оценке и итоговый отчет. До проведения измерений не гарантируются результаты производительности или показатель сохранения качества.

Целевой GPU

Указано в каталоге

Конфигурация рассчитана на 1 × NVIDIA A100 SXM 80GB. Справочная спецификация или оценка пригодности не резервирует GPU для аренды; наличие и пригодность для развертывания проверяются до выделения.

Соответствие требованиям к памяти

Определяется в рамках согласованных инженерных работ

Это сохраненные оценки ресурсов для выбранного количества GPU, контекста и рабочей нагрузки, а не измеренные результаты развертывания. Накладные расходы среды выполнения и поведение на реальной нагрузке требуют проверки.

Расчётный объём весов модели: 9.78 GB

Расчётный объём KV-кэша: 2 GB

Расчётный требуемый объём видеопамяти: 18.93 GB

Расчётный доступный объём видеопамяти: 80 GB

Данные бенчмаркинга

Определяется в рамках согласованных инженерных работ

Для этого пакета не зарегистрирован полный измеренный бенчмарк. Измерения проводятся в рамках согласованной оценки на точном результате, оборудовании, среде выполнения и настройках. Оценки не являются результатами измерений.

Способ поставки

Указано в каталоге

Скачать и разместить

Значения инженерного статуса

Готово к инженерным работам: можно определить объем настроенного процесса и коммерческих компонентов. Это не означает, что итоговый артефакт уже создан или проверен бенчмарком.

Ограничения поставки

Настроенная поставка: Скачать и разместить

Варианты поставки: Скачать пакет / Хостинг FusionPointAI / Скачать и разместить

Источник и лицензия

Официальный источник версии

Условия лицензии

Подробнее: Step3-VL 10B

Сравнить связанные модели

Происхождение преобразования

Точность исходной модели: Определяется в рамках согласованных инженерных работ

Целевая точность: FP8

Операции преобразования: Квантизация FP8, Подготовка среды выполнения, Оценка и сравнительное тестирование

Топология GPU

Целевая GPU: NVIDIA A100 SXM 80GB

Количество GPU: 1

Подготовка среды выполнения: transformers