Команды и код во всех языковых версиях остаются на английском. Заменяйте ЗАГЛАВНЫЕ заполнители значениями своей учетной записи и оплаченного задания. Не вставляйте реальные ключи в общие ноутбуки или журналы.
Безопасное восстановление запуска проекта
- Запуск Отслеживать позицию в данных и бюджеты
- Контрольная точка Состояние модели или адаптера и ход проекта
- Прерывание Сохранить последнее допустимое состояние
- Проверка Сверить отпечатки и свободное место
- Возобновление Продолжить без повторной обработки данных
Запуск: Отслеживать позицию в данных и бюджеты. Контрольная точка: Состояние модели или адаптера и ход проекта. Прерывание: Сохранить последнее допустимое состояние. Проверка: Сверить отпечатки и свободное место. Возобновление: Продолжить без повторной обработки данных
Проверьте причину сбоя перед повтором
Ошибки аутентификации, истекший доступ к референсной модели, несовместимые модели, нехватка памяти устройства, недопустимые наборы данных и невыполненные критерии требуют разных действий. TrainingClient ограниченно повторяет только подходящие GET-запросы. Запросы, меняющие состояние, автоматически не повторяются. После тайм-аута проверьте принадлежащий вам запуск или ресурс API, прежде чем повторять запись.
- 401/403: проверьте область ключа, доступ учетной записи и оплаченное право на референсную модель.
- 404: убедитесь, что ресурс принадлежит аутентифицированной учетной записи.
- 409/422: перед изменением входных данных проверьте состояние запуска и подробности ошибки для конкретных полей.
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
print("Current state:", state["status"])
except IntegrityError:
print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
print("Training failed; inspect the local report before retrying.")
except APIError:
print("Request failed; inspect access and session state before another write.")
except ValueError:
print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.Приостановите, возобновите или отмените запуск проекта
API проекта и CLI управляют worker-процессами конкретного запуска. Приостановка дожидается атомарной контрольной точки; перед возобновлением проверяются fingerprints конфигурации, модели, данных, оценщика и топологии. Отмена останавливает только worker-процессы этого запуска и завершает его. Старый метод TrainingClient.cancel по-прежнему меняет только состояние сеанса.
- Приостановленный запуск можно возобновить, но он не считается завершенным. Отмененный запуск не является принятым результатом.
- Используйте отдельный терминал для управления работающим процессом.
- После тайм-аута сначала проверьте состояние. Не удаляйте файлы блокировок и не останавливайте чужие процессы GPU.
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.Восстанавливайте запуск проекта
TrainingProject сохраняет контрольные точки модели или адаптера и состояние проекта в принадлежащем запуску каталоге. Перед продолжением проверяются fingerprints модели, набора данных, конфигурации, оценщика и распределенной схемы. Контрольные точки сеанса не импортируются в проектный запуск.
- Сохраняйте допустимую контрольную точку и проверяйте доступное место.
- При несовпадении входных данных не запускайте восстановление принудительно.
- Приостановленный запуск можно возобновить; отмененный запуск завершен.
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget
Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.