Befehle und Code bleiben in allen Sprachen auf Englisch. Ersetzen Sie GROSSGESCHRIEBENE Platzhalter durch Werte Ihres eigenen Kontos und bezahlten Auftrags. Fügen Sie echte Schlüssel nicht in gemeinsam genutzte Notebooks oder Protokolle ein.
Projektlauf sicher wiederherstellen
- Lauf Datenposition und Budgets erfassen
- Checkpoint Modell- oder Adapterzustand und Projektfortschritt speichern
- Unterbrechung Letzten gültigen Zustand bewahren
- Validieren Fingerprints und Speicherplatz prüfen
- Fortsetzen Lauf ohne doppelte Arbeit fortsetzen
Lauf: Datenposition und Budgets erfassen. Checkpoint: Modell- oder Adapterzustand und Projektfortschritt speichern. Unterbrechung: Letzten gültigen Zustand bewahren. Validieren: Fingerprints und Speicherplatz prüfen. Fortsetzen: Lauf ohne doppelte Arbeit fortsetzen
Fehler vor dem erneuten Versuch prüfen
Fehler bei Anmeldung, abgelaufener Referenzzugriff, inkompatible Modelle, zu wenig Gerätespeicher, ungültige Datensätze und verfehlte Kriterien erfordern unterschiedliche Maßnahmen. TrainingClient wiederholt nur geeignete GET-Anfragen, und zwar begrenzt. Ändernde Anfragen werden nicht automatisch wiederholt. Prüfen Sie nach einem Timeout den eigenen Lauf oder die API-Ressource, bevor Sie erneut schreiben.
- 401/403: Schlüsselbereich, Kontozugriff und bezahlte Referenzberechtigung prüfen.
- 404: Sicherstellen, dass die Ressource zum angemeldeten Konto gehört.
- 409/422: Laufstatus und feldbezogene Fehlerdetails prüfen, bevor Sie Eingaben ändern.
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
print("Current state:", state["status"])
except IntegrityError:
print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
print("Training failed; inspect the local report before retrying.")
except APIError:
print("Request failed; inspect access and session state before another write.")
except ValueError:
print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.Projektlauf pausieren, fortsetzen oder abbrechen
Die Projekt-API und CLI steuern die Worker des jeweiligen Laufs. Beim Pausieren wird ein atomarer Checkpoint abgewartet; beim Fortsetzen werden Fingerprints von Konfiguration, Modell, Daten, Evaluator und Topologie geprüft. Abbrechen stoppt nur die Worker dieses Laufs und beendet ihn endgültig. Der ältere TrainingClient.cancel-Aufruf betrifft weiterhin nur den Sitzungsstatus.
- Ein pausierter Lauf kann fortgesetzt werden, ist aber nicht abgeschlossen. Ein abgebrochener Lauf ist kein abgenommenes Ergebnis.
- Verwenden Sie für Steuerbefehle ein zweites Terminal, solange ein Lauf im Vordergrund aktiv ist.
- Lesen Sie nach einem Timeout zuerst den Status. Löschen Sie keine Sperrdateien und beenden Sie keine fremden GPU-Prozesse.
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.Projektlauf wiederherstellen
TrainingProject speichert native Modell- oder Adapter-Checkpoints und den Projektfortschritt im eigenen Laufverzeichnis. Beim Fortsetzen werden Fingerprints von Modell, Datensatz, Konfiguration, Evaluator und verteilter Topologie geprüft. Lesen Sie den Laufstatus vor der Wiederherstellung; Sitzungs-Checkpoints sind davon getrennt.
- Einen gültigen letzten Zustand behalten und Speicherplatz überwachen.
- Einen Checkpoint mit abweichenden Eingaben niemals erzwingen.
- Pausieren und Abbrechen sind unterschiedliche Zustände; ein abgebrochener Lauf lässt sich nicht fortsetzen.
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget
Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.