Zum Hauptinhalt springen
Kapitel des Trainingsleitfadens Alle Dokumentationen

Fehlerbehebung und Wiederherstellung beim Training

Zugriffs-, Daten-, GPU-, Checkpoint-, Berichts-, Export- und Qualitätsprobleme beheben, ohne blind kostspielige Arbeit zu wiederholen.

Kapitel des Trainingsleitfadens

Befehle und Code bleiben in allen Sprachen auf Englisch. Ersetzen Sie GROSSGESCHRIEBENE Platzhalter durch Werte Ihres eigenen Kontos und bezahlten Auftrags. Fügen Sie echte Schlüssel nicht in gemeinsam genutzte Notebooks oder Protokolle ein.

Vor einem erneuten Versuch diagnostizieren

Vor dem Neustart den aktuellen Status prüfen und gültige Arbeit erhalten.
  1. Lokalisieren Zugriff, Daten, Rechenleistung oder Ausgabe
  2. Prüfen Status und bereinigte Diagnosen
  3. Beheben Ursächlichen Fehler beheben
  4. Wiederherstellen Sicher fortsetzen oder neuen Plan prüfen

Zugriffsfehler von Laufzeitfehlern unterscheiden

Prüfen Sie HTTP-Status, eigene Auftrags- oder Lauf-ID, Kontoumfang und bezahlten Referenzzugriff. Bei lokaler Ausführung prüfen Sie vor dem Start Adapterkompatibilität und den geprüften Plan. Ein Schlüssel stellt weder GPU-Speicher bereit noch gewährt er Zugriff auf Ressourcen eines anderen Kontos. Teilen Sie mit dem Support nur bereinigte Diagnosedaten.

  • Halten Sie Paketversion, Laufzeit, Sitzungs-/Laufkennung, Fehlercode und die letzte erfolgreiche Aktion fest.
  • Nicht jeden POST nach einem Verbindungsfehler wiederholen; der Server könnte ihn bereits angenommen haben.
  • Die Diagnosebefehle prüfen lokale Metadaten und legen keine Zugangsdaten offen.
HTTP-Fehler
Feld oder SchnittstelleTyp oder ErgebnisStandardwert oder ExitcodeVerhalten und Validierung
401 HTTP Erforderlich / kein Standardwert Gültigkeit des Schlüssels prüfen, ohne ihn anzuzeigen; den freigegebenen Anmeldeprozess des Kontos verwenden.
403 HTTP Erforderlich / kein Standardwert Umfang ai:training, bezahlten Zugriff, Eigentum und Zulässigkeit prüfen; Zugriffskontrollen nicht umgehen.
404 HTTP Erforderlich / kein Standardwert Exakte eigene UUID und den Endpunkt prüfen. Ressourcen anderer Konten müssen unzugänglich bleiben.
409 HTTP Erforderlich / kein Standardwert Vor einem weiteren Schreibvorgang den aktuellen Sitzungsstatus lesen. Die Vorbereitung könnte die Referenz bereits gesperrt haben.
422 HTTP Erforderlich / kein Standardwert Zurückgegebene feldbezogene Validierungsfehler beheben; keine Preise oder nicht freigegebenen Konfigurationen senden.
429 HTTP Erforderlich / kein Standardwert Bei sicheren Lesezugriffen Rate-Limits und Wartezeiten beachten; Drosselung nie in eine unbegrenzte Wiederholungsschleife verwandeln.
5xx / timeout HTTP Erforderlich / kein Standardwert Vor dem Wiederholen eines Schreibvorgangs den aktuellen Status lesen. Begrenzte GET-Wiederholungen erlauben keine doppelten Vorbereitungs- oder Trainingsvorgänge.
Beispiel · bash 
# Inspect package metadata, not credentials or private dataset contents.
python -m pip show fusionpointai-training
python -m pip check
# On NVIDIA hosts where nvidia-smi is installed:
nvidia-smi
# Keep the local report; never dump env, auth headers or provider responses.
# The documentation does not launch these commands for you.

Rechenleistung, Daten und Berichte wiederherstellen

Ermitteln Sie, ob das Problem vor der Optimierung, während des Trainings oder nach Erstellung eines gültigen Artefakts auftrat. TrainingProject setzt Läufe anhand validierter Projekt-Checkpoints fort. Der ältere Sitzungsablauf bleibt getrennt und übernimmt keinen Projekt-Wiederherstellungszustand. Prüfen Sie Lauf-Snapshot und Berichte, bevor Sie einen Schreibvorgang wiederholen oder ein neues Ausgabeverzeichnis anlegen.

  • Datensatz-Hashes, Modell-Fingerprints oder Eigentumsprüfungen niemals umgehen.
  • Eine geänderte Batch-Größe, Präzision oder ein anderes Budget erfordert einen neuen Plan und Lauf.
  • Gültige Ausgaben behalten und nur temporäre Dateien entfernen, die diesem Lauf gehören.
Diagnose von Training und Bereitstellung
Feld oder SchnittstelleTyp oder ErgebnisStandardwert oder ExitcodeVerhalten und Validierung
out_of_memory runtime Erforderlich / kein Standardwert Modellgröße, Präzision und Batch-Größe je Gerät prüfen. Einen neuen kompatiblen Plan prüfen; einen fortgesetzten Lauf nicht stillschweigend ändern.
dataset_integrity data Erforderlich / kein Standardwert Erwartete Bytezahl, Zeilen und SHA-256 vergleichen. Bei Abweichungen stoppen und den richtigen eigenen Datensatz beschaffen.
checkpoint_mismatch recovery Erforderlich / kein Standardwert Die exakt festgelegten Eingaben wiederherstellen oder einen neuen Projektlauf starten. Einen nicht passenden Checkpoint oder einen Sitzungs-Checkpoint niemals erzwingen.
budget_exhausted budget Erforderlich / kein Standardwert Den letzten gültigen Status erhalten. Größere Budgets benötigen einen separat geprüften Plan.
no_progress quality Erforderlich / kein Standardwert Datenqualität und fehlende Fähigkeiten prüfen, dann innerhalb des Zyklusbudgets abbrechen; nicht endlos wiederholen.
regression quality Erforderlich / kein Standardwert Erhaltene Fähigkeiten des Ausgangsmodells und verfehlte Kriterien vergleichen. Schädliche Rückschritte nicht durch Mittelwertbildung kaschieren.
report_failed service Erforderlich / kein Standardwert Das gültige lokale Artefakt behalten. Dienststatus lesen und, sofern zulässig, den Bericht abgleichen, statt erneut zu trainieren.
export_invalid artifact Erforderlich / kein Standardwert Verknüpfung mit Basismodell und Tokenizer, Dateipfade und Prüfsummen prüfen; erst nach erfolgreichem Wiedereinlesen veröffentlichen.
Beispiel · bash 
# Recover an interrupted run without starting it twice.
fpai-training status --run ./german-project/runs/german-001
# paused + valid atomic checkpoint -> resume the same pinned plan.
fpai-training resume --run ./german-project/runs/german-001
# fingerprint mismatch -> restore matching data/config; NEVER force resume.
# budget change -> create a NEW run and reviewed plan, retaining prior reports.
# no valid checkpoint -> start a NEW output directory, not a fake resume.

Unerreichte Ziele ehrlich bewerten

Ein niedrigerer Validierungsverlust allein belegt die gewünschte Fähigkeit nicht. Prüfe zurückgehaltene Aufgaben, Ausgangswert, Leistung je Thema, erhaltene Fähigkeiten und Datenlecks. Stoppe bei stagnierender Verbesserung oder Rückschritten. Passe Ziel oder Daten in einem neu geprüften Plan an, statt mit derselben fehlerhaften Konfiguration wiederholt Ressourcen zu verbrauchen.

  • Auf fehlende Themenabdeckung, falsche Labels, doppelte Testfälle und Tokenizer-Abweichungen achten.
  • Festhalten, welche Kriterien verfehlt wurden und wie viel des freigegebenen Budgets verbraucht ist.
  • Auch wenn für ein Modell ohne Abnahme ein Artefakt erhalten bleibt, darf es nicht als für Produktion freigegebenes Modell dargestellt werden.
Beispiel · text 
SDK 0.2.0 QUALITY DIAGNOSTICS
1. Compare untouched baseline and final model on identical held-out tasks.
2. Examine each criterion and retained capability, not an average alone.
3. Reject data overlap and examples leaked to the teacher.
4. Check label quality, topic coverage, class balance and tokenizer compatibility.
5. Use remaining approved cycles only; stop for no_progress or regression.
6. Preserve unmet_criteria and the latest valid artifact after a failed target.
7. Revise data/objective/budget in a NEW reviewed plan before a new run.
Never report accepted merely because loss decreased or a script exited normally.