Passer au contenu principal
Chapitres du guide d’entraînement Toute la documentation

Échecs, annulation et reprise

Diagnostiquez les échecs sans écritures en double, artefacts perdus ni boucle de nouvelles tentatives sans fin.

Chapitres du guide d’entraînement

Les commandes et le code restent en anglais dans toutes les langues. Remplacez les espaces réservés en majuscules par les valeurs de votre compte et de votre tâche payante ; ne collez pas de vraies clés dans des carnets ou des journaux partagés.

Reprendre une exécution en toute sécurité

Ne reprenez que si les empreintes de la configuration, du modèle et des données correspondent toujours.
  1. Exécution Suivre la position dans les données et les budgets
  2. Point de contrôle atomique Poids, optimiseur et état aléatoire
  3. Interruption Conserver le dernier point de contrôle valide
  4. Valider Vérifier les empreintes et l’espace disponible
  5. Reprendre Continuer sans refaire le travail

Lire le motif de l’échec avant de réessayer

Les problèmes d’authentification, l’accès de référence expiré, les modèles incompatibles, le manque de mémoire, les données invalides et les critères non atteints appellent des solutions différentes. TrainingClient ne réessaie que les requêtes GET admissibles, dans une limite définie ; les requêtes qui modifient l’état ne sont jamais réessayées automatiquement. Après un délai d’attente, examinez l’exécution ou la ressource API avant de répéter une écriture.

  • 401/403 : vérifiez la portée de la clé, l’accès au compte et l’autorisation payante du modèle de référence.
  • 404 : vérifiez que la ressource appartient au compte authentifié.
  • 409/422 : examinez l’état de l’exécution et les détails de validation avant de modifier les données d’entrée.
Exemple · python 
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
    state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
    print("Current state:", state["status"])
except IntegrityError:
    print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
    print("Training failed; inspect the local report before retrying.")
except APIError:
    print("Request failed; inspect access and session state before another write.")
except ValueError:
    print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.

Mettre en pause, reprendre ou annuler une exécution

L’API de projet et la CLI contrôlent les processus de travail de l’exécution. La pause attend un point de contrôle atomique ; la reprise vérifie les empreintes de configuration, de modèle, de données, d’évaluateur et de topologie ; l’annulation arrête cette exécution et est définitive. TrainingClient.cancel continue d’annuler l’état d’une session du service, sans contrôler les processus de projet.

  • Après un délai d’attente, consultez l’état avant de répéter une commande de contrôle.
  • Reprenez uniquement une exécution récupérable valide ; ne forcez pas un point de contrôle incompatible.
  • Préservez les résultats partiels et ne les présentez pas comme des artefacts acceptés.
Exemple · python 
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.

Récupérer une exécution de projet

TrainingProject enregistre les points de contrôle natifs du modèle ou de l’adaptateur et l’avancement du projet dans le répertoire de l’exécution. Avant de poursuivre, il vérifie les empreintes du modèle, des données, de la configuration, de l’évaluateur et de la topologie. La rétention des points de contrôle et le budget de stockage limitent les données de l’exécution ; tout point incompatible est rejeté.

  • La rétention configurée conserve au plus cinq points de contrôle de reprise.
  • La pause et l’annulation ont des états et des effets distincts.
  • Ne supprimez ni ne modifiez les fichiers de point de contrôle pendant une exécution.
Exemple · text 
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget

Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.