Saltar al contenido principal
Capítulos de la guía de entrenamiento Toda la documentación

Fallos, cancelación y recuperación

Diagnostica fallos sin duplicar escrituras, perder artefactos ni entrar en reintentos interminables.

Capítulos de la guía de entrenamiento

Los comandos y el código se mantienen en inglés en todos los idiomas. Sustituye los marcadores en mayúsculas por valores de tu cuenta y de tu tarea de pago; no pegues claves reales en cuadernos ni registros compartidos.

Recuperar una ejecución propia

Reanuda solo si coinciden las huellas de la configuración, el modelo y los datos.
  1. Ejecución Seguir la posición de los datos y los presupuestos
  2. Punto de control atómico Pesos, optimizador y estado aleatorio
  3. Interrupción Conservar el último punto de control válido
  4. Validar Comprobar huellas y espacio disponible
  5. Reanudar Continuar sin duplicar trabajo

Lee el motivo del error antes de reintentar

Los problemas de autenticación, el acceso caducado al modelo de referencia, los modelos incompatibles, la falta de memoria, los datos no válidos y los criterios incumplidos requieren soluciones distintas. TrainingClient solo reintenta solicitudes GET aptas y dentro de un límite; las solicitudes que modifican datos no se reintentan automáticamente. Si se agota el tiempo de espera, inspecciona la ejecución o el recurso de la API antes de repetir una escritura.

  • 401/403: comprueba el ámbito de la clave, el acceso a la cuenta y la autorización de pago del modelo de referencia.
  • 404: confirma que el recurso pertenece a la cuenta autenticada.
  • 409/422: revisa el estado de la ejecución y los detalles de validación antes de modificar los datos.
Ejemplo · python 
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
    state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
    print("Current state:", state["status"])
except IntegrityError:
    print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
    print("Training failed; inspect the local report before retrying.")
except APIError:
    print("Request failed; inspect access and session state before another write.")
except ValueError:
    print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.

Pausar, reanudar y cancelar una ejecución propia

La API de proyecto y la CLI controlan los procesos de trabajo de la ejecución. La pausa espera a que se guarde un punto de control atómico; la reanudación valida las huellas de configuración, modelo, datos, evaluador y topología; la cancelación detiene esta ejecución y es definitiva. TrainingClient.cancel sigue cancelando el estado de una sesión del servicio, no controla los procesos de proyecto.

  • Si una operación agota el tiempo de espera, consulta el estado antes de repetirla.
  • Reanuda solo una ejecución recuperable válida; no fuerces un punto de control incompatible.
  • Conserva los resultados parciales y no los presentes como artefactos aceptados.
Ejemplo · python 
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.

Recuperar una ejecución de proyecto

TrainingProject guarda puntos de control nativos del modelo o adaptador y el progreso del proyecto en el directorio de la ejecución propia. Antes de continuar, valida las huellas del modelo, los datos, la configuración, el evaluador y la topología. La retención de puntos de control y el presupuesto de almacenamiento limitan los datos de la ejecución; se rechaza cualquier punto de control incompatible.

  • La retención configurada conserva como máximo cinco puntos de control de recuperación.
  • La pausa y la cancelación tienen estados y efectos distintos.
  • No borres ni modifiques los archivos de puntos de control mientras la ejecución siga activa.
Ejemplo · text 
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget

Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.