Passer au contenu principal
Chapitres du guide d’entraînement Toute la documentation

Dépannage et reprise après erreur d’entraînement

Résoudre les problèmes d’accès, de données, de GPU, de points de contrôle, de rapports, d’export et de qualité sans répéter aveuglément des opérations coûteuses.

Chapitres du guide d’entraînement

Les commandes et le code restent en anglais dans toutes les langues. Remplacez les espaces réservés en majuscules par les valeurs de votre compte et de votre tâche payante ; ne collez pas de vraies clés dans des carnets ou des journaux partagés.

Diagnostiquer avant de réessayer

Consulter l’état actuel et préserver le travail valide avant de recommencer.
  1. Localiser Accès, données, calcul ou sortie
  2. Examiner État et diagnostics expurgés
  3. Corriger Résoudre le véritable problème
  4. Reprendre Reprise sûre ou nouvelle exécution examinée

Distinguer les problèmes d’accès des problèmes d’exécution

Pour l’API, vérifiez le code HTTP, l’identifiant du job ou de la session qui vous appartient, le périmètre du compte et la période d’accès payante. Avant une exécution TrainingProject, vérifiez la compatibilité et le plan examiné. Une clé ne fournit pas de mémoire GPU et ne donne pas accès aux ressources d’un autre compte. Ne partagez que des diagnostics expurgés avec l’assistance.

  • Consignez la version du paquet, l’environnement, l’identifiant de session ou d’exécution, le code d’erreur et la dernière opération réussie.
  • Ne réessayez pas chaque POST après une erreur de connexion : le serveur a peut-être déjà accepté la requête.
  • Les commandes de diagnostic permettent de rechercher le problème sans lancer d’entraînement ni révéler d’identifiants.
Erreurs HTTP
Champ ou interfaceType ou résultatValeur par défaut ou code de sortieComportement et validation
401 HTTP Obligatoire / sans valeur par défaut Vérifiez la validité de la clé sans l’afficher ; utilisez le processus d’identifiants approuvé du compte.
403 HTTP Obligatoire / sans valeur par défaut Vérifiez le périmètre ai:training, l’accès payant, la propriété et l’éligibilité ; ne contournez pas les contrôles d’accès.
404 HTTP Obligatoire / sans valeur par défaut Vérifiez l’UUID exact qui vous appartient et le point d’accès ; une ressource d’un autre compte doit rester inaccessible.
409 HTTP Obligatoire / sans valeur par défaut Lisez l’état de la session avant toute autre écriture. La préparation a peut-être déjà verrouillé la référence.
422 HTTP Obligatoire / sans valeur par défaut Corrigez les erreurs de validation renvoyées pour chaque champ ; n’envoyez ni prix ni configuration non approuvée.
429 HTTP Obligatoire / sans valeur par défaut Respectez les limites de débit et le délai de nouvelle tentative pour les lectures sûres ; ne créez jamais une boucle de reprises sans limite.
5xx / timeout HTTP Obligatoire / sans valeur par défaut Lisez l’état actuel avant de répéter une écriture. Des reprises GET limitées n’autorisent pas à dupliquer la préparation ou l’entraînement.
Exemple · bash 
# Inspect package metadata, not credentials or private dataset contents.
python -m pip show fusionpointai-training
python -m pip check
# On NVIDIA hosts where nvidia-smi is installed:
nvidia-smi
# Keep the local report; never dump env, auth headers or provider responses.
# The documentation does not launch these commands for you.

Récupérer le calcul, les données et les rapports

Déterminez si le problème est survenu avant l’optimisation, pendant l’entraînement ou après la création d’un artefact valide. TrainingProject reprend une exécution à partir de points de contrôle de projet validés ; le processus historique par session reste distinct et n’importe pas cet état de reprise. Consultez l’instantané et les rapports de l’exécution avant de répéter une écriture ou de créer un nouveau répertoire de sortie.

  • Ne contournez jamais les empreintes des jeux de données ou des modèles ni les contrôles de propriété pour relancer une exécution.
  • Réduire le lot, modifier la précision ou augmenter le budget change le plan ; examinez-en un nouveau et démarrez une nouvelle exécution au lieu de forcer une reprise incompatible.
  • Conservez les résultats valides utiles et supprimez uniquement les fichiers temporaires appartenant à l’exécution en échec.
Diagnostics d’entraînement et de livraison
Champ ou interfaceType ou résultatValeur par défaut ou code de sortieComportement et validation
out_of_memory runtime Obligatoire / sans valeur par défaut Examinez la taille du modèle, la précision et le lot par périphérique. Étudiez un nouveau plan compatible ; ne modifiez pas silencieusement une exécution reprise.
dataset_integrity data Obligatoire / sans valeur par défaut Comparez le nombre d’octets, de lignes et le SHA-256 attendus. Arrêtez-vous en cas d’écart et récupérez le bon jeu de données qui vous appartient.
checkpoint_mismatch recovery Obligatoire / sans valeur par défaut Restaurez exactement les entrées épinglées ou démarrez une nouvelle exécution. La reprise refuse toute différence d’empreinte du modèle, des données, de la configuration, de l’évaluateur ou de la topologie.
budget_exhausted budget Obligatoire / sans valeur par défaut Conservez le dernier état valide. Tout budget supérieur exige un plan distinct examiné.
no_progress quality Obligatoire / sans valeur par défaut Examinez la qualité des données et les compétences manquantes, puis arrêtez-vous dans la limite de cycles ; ne répétez pas indéfiniment.
regression quality Obligatoire / sans valeur par défaut Comparez les compétences de référence conservées et les critères échoués. Ne masquez pas une régression préjudiciable par une moyenne.
report_failed service Obligatoire / sans valeur par défaut Conservez l’artefact local valide. Consultez l’état du service et réconciliez le rapport lorsque cela est autorisé, sans relancer l’entraînement.
export_invalid artifact Obligatoire / sans valeur par défaut Vérifiez le lien entre modèle de base et tokenizer, les chemins des fichiers et les sommes de contrôle ; ne publiez pas avant la réussite du rechargement.
Exemple · bash 
# Recover an interrupted run without starting it twice.
fpai-training status --run ./german-project/runs/german-001
# paused + valid atomic checkpoint -> resume the same pinned plan.
fpai-training resume --run ./german-project/runs/german-001
# fingerprint mismatch -> restore matching data/config; NEVER force resume.
# budget change -> create a NEW run and reviewed plan, retaining prior reports.
# no valid checkpoint -> start a NEW output directory, not a fake resume.

Présenter honnêtement un objectif non atteint

Une baisse de la perte de validation ne suffit pas à démontrer la capacité demandée. Examinez les tâches réservées, la référence initiale, les performances par thème, les compétences conservées et les fuites de données. Arrêtez-vous lorsque les progrès stagnent ou qu’une régression apparaît. Adaptez l’objectif ou les données dans un nouveau plan examiné au lieu de consommer sans cesse des ressources avec la même configuration défaillante.

  • Recherchez les thèmes manquants, les étiquettes incorrectes, les éléments de test dupliqués et les incompatibilités de tokenizer.
  • Consignez les critères non satisfaits et la part du budget approuvé utilisée.
  • Un modèle qui n’atteint pas les critères peut tout de même produire un artefact conservable, mais ne doit pas être présenté comme un modèle de production accepté.
Exemple · text 
SDK 0.2.0 QUALITY DIAGNOSTICS
1. Compare untouched baseline and final model on identical held-out tasks.
2. Examine each criterion and retained capability, not an average alone.
3. Reject data overlap and examples leaked to the teacher.
4. Check label quality, topic coverage, class balance and tokenizer compatibility.
5. Use remaining approved cycles only; stop for no_progress or regression.
6. Preserve unmet_criteria and the latest valid artifact after a failed target.
7. Revise data/objective/budget in a NEW reviewed plan before a new run.
Never report accepted merely because loss decreased or a script exited normally.