Перейти к основному содержимому
Главы руководства по обучению Вся документация

Выберите эталонную и обучаемую модель-ученика

Согласуйте доступ у провайдера, архитектуру обучаемой модели, версию контрольной модели и метод обучения.

Главы руководства по обучению

Команды и код во всех языковых версиях остаются на английском. Заменяйте ЗАГЛАВНЫЕ заполнители значениями своей учетной записи и оплаченного задания. Не вставляйте реальные ключи в общие ноутбуки или журналы.

Проверки совместимости моделей

Проверьте совместимость до выделения ресурсов для дорогостоящего обучения.
  1. Доступ к эталонной модели План провайдера и доступная модель-учитель
  2. Модель-ученик Архитектура и закрепленные веса
  3. Метод SFT или совместимое обучение адаптера
  4. Среда выполнения Точность, память и зависимости

Выбор в рамках плана провайдера

Используйте идентификаторы эталонных моделей из действующего каталога и сведения о доступе к заданию. Сеанс может принимать необязательную reference_model_id от того же оплаченного провайдера и исходного продукта. Приобретенная обучаемая модель и счет остаются без изменений. После того как подготовка создала данные или начались попытки, изменить эталонную модель в этом сеансе нельзя; не смешивайте незаметно данные, подготовленные эталонной моделью.

  • Эталонная модель должна оставаться доступной и совместимой с приобретенным методом обучения и обучаемой моделью.
  • Ограничения только для существующих клиентов сохраняют силу.
  • Отображаемое название модели не обязательно является ее идентификатором API.
Пример · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
# Set this to a reference ID included in your paid provider plan.
reference_id = int(os.environ["FUSIONPOINTAI_REFERENCE_MODEL_ID"])
session = client.open_session(
    os.environ["FUSIONPOINTAI_JOB_UUID"],
    runtime="customer_datacenter",
    reference_model_id=reference_id,
)
# Change the reference only BEFORE preparation or generation attempts.
print(session["reference_model_id"])

Загрузите закрепленную локальную модель-ученик

TrainingProject принимает локальный путь к модели через зарегистрированный адаптер Transformers для причинно-языковых моделей. При загрузке файлов удаленный код модели отключен. До обучения для выбранного метода проверяются архитектура, токенизатор, длина контекста, точность и доступная память устройства. Идентификатор репозитория должен указывать на закрепленную ревизию внутри каталога проекта.

  • SFT обновляет допустимые параметры модели; LoRA и QLoRA обучают адаптеры.
  • К локальным весам должны прилагаться совместимые токенизатор и конфигурация модели.
  • Модель, доступная только через API инференса, нельзя обучать как модель-ученик.
Пример · python 
# Continue with the client and session from the quickstart.
state = client.get_session(session["id"])
configuration = state["configuration"]
print(configuration["student_checkpoint"]["repository"])
print(configuration["student_checkpoint"]["revision"])
print(configuration["method"])
print(configuration["sdk_training"])
# These values come from the approved job, not local overrides.
Пример · python 
import os

supported_runtimes = {
    "fusionpointai_hosting",
    "customer_datacenter",
    "colab",
}
runtime = os.environ["FUSIONPOINTAI_TRAINING_RUNTIME"]
if runtime not in supported_runtimes:
    raise ValueError("Choose a supported training runtime")
print("Selected runtime:", runtime)
# Selection alone does not allocate compute or open a training session.

Проверяйте совместимость адаптера и среды

Зарегистрированный адаптер Transformers для причинно-языковых моделей проверяет выбранную модель, метод, точность, оборудование, распределенный режим и формат экспорта. Он поддерживает не все архитектуры и конфигурации GPU. Несовместимые сочетания отклоняются; возможности модели и оборудования не определяются по одной лишь метке конфигурации.

  • Используйте структуру модели, которую адаптер Transformers загружает без удаленного кода.
  • Для QLoRA нужны совместимые CUDA и bitsandbytes.
  • Проверка совместимости не является тестом производительности и не гарантирует инференс в другой среде.