Saltar al contenido principal
Capítulos de la guía de entrenamiento Toda la documentación

Solución de problemas y recuperación de errores de entrenamiento

Resolver problemas de acceso, datos, GPU, puntos de control, informes, exportación y calidad sin repetir a ciegas operaciones costosas.

Capítulos de la guía de entrenamiento

Los comandos y el código se mantienen en inglés en todos los idiomas. Sustituye los marcadores en mayúsculas por valores de tu cuenta y de tu tarea de pago; no pegues claves reales en cuadernos ni registros compartidos.

Diagnosticar antes de reintentar

Consulta el estado actual y conserva el trabajo válido antes de volver a empezar.
  1. Localizar Acceso, datos, cómputo o resultados
  2. Inspeccionar Estado y diagnósticos depurados
  3. Corregir Resolver el fallo real
  4. Recuperar Reanudación segura o nueva ejecución revisada

Distinguir los problemas de acceso de los del entorno de ejecución

Para la API, revisa el estado HTTP, el ID de tarea o sesión propio, el alcance de la cuenta y el periodo de acceso de pago. Antes de ejecutar TrainingProject, comprueba la compatibilidad y revisa el plan. Una clave no proporciona memoria GPU ni acceso a recursos de otra cuenta. Comparte solo diagnósticos depurados al pedir ayuda al soporte.

  • Anota la versión del paquete, el entorno, el ID de sesión o ejecución, el código de error y la última operación correcta.
  • No repitas todas las solicitudes POST tras un fallo de conexión; puede que el servidor ya las haya aceptado.
  • Los comandos de diagnóstico permiten investigar el problema sin iniciar un entrenamiento ni revelar credenciales.
Errores HTTP
Campo o interfazTipo o resultadoValor predeterminado o código de salidaComportamiento y validación
401 HTTP Obligatorio / sin valor predeterminado Comprueba la validez de la clave sin mostrarla; usa el proceso de credenciales aprobado de la cuenta.
403 HTTP Obligatorio / sin valor predeterminado Comprueba el alcance ai:training, el acceso de pago, la propiedad y la elegibilidad; no eludas los controles de acceso.
404 HTTP Obligatorio / sin valor predeterminado Comprueba el UUID propio exacto y el endpoint; los recursos de otra cuenta deben seguir siendo inaccesibles.
409 HTTP Obligatorio / sin valor predeterminado Lee el estado actual de la sesión antes de otra escritura. Es posible que la preparación ya haya bloqueado la referencia.
422 HTTP Obligatorio / sin valor predeterminado Corrige los errores de validación por campo devueltos; no envíes precios ni configuraciones no aprobadas.
429 HTTP Obligatorio / sin valor predeterminado Respeta los límites de solicitudes y la espera antes de volver a intentar lecturas seguras; nunca conviertas la limitación en un bucle de reintentos ilimitado.
5xx / timeout HTTP Obligatorio / sin valor predeterminado Lee el estado actual antes de repetir una escritura. Los reintentos GET limitados no autorizan a duplicar la preparación ni el entrenamiento.
Ejemplo · bash 
# Inspect package metadata, not credentials or private dataset contents.
python -m pip show fusionpointai-training
python -m pip check
# On NVIDIA hosts where nvidia-smi is installed:
nvidia-smi
# Keep the local report; never dump env, auth headers or provider responses.
# The documentation does not launch these commands for you.

Recuperar el cómputo, los datos y los informes

Determina si el problema ocurrió antes de la optimización, durante el entrenamiento o después de crear un artefacto válido. TrainingProject reanuda una ejecución desde puntos de control validados del proyecto; el flujo heredado de sesiones es independiente y no importa ese estado. Consulta la instantánea y los informes antes de repetir una escritura o crear otro directorio de salida.

  • No eludas las huellas de los conjuntos de datos o modelos ni las comprobaciones de propiedad para que funcione un reintento.
  • Reducir el lote, cambiar la precisión o ampliar el presupuesto modifica el plan; revisa uno nuevo e inicia otra ejecución en lugar de forzar una recuperación incompatible.
  • Conserva los resultados válidos y elimina solo los archivos temporales propios de la ejecución fallida.
Diagnóstico del entrenamiento y la entrega
Campo o interfazTipo o resultadoValor predeterminado o código de salidaComportamiento y validación
out_of_memory runtime Obligatorio / sin valor predeterminado Revisa el tamaño del modelo, la precisión y el lote por dispositivo. Evalúa un plan compatible nuevo; no cambies en silencio una ejecución reanudada.
dataset_integrity data Obligatorio / sin valor predeterminado Compara los bytes, las filas y SHA-256 esperados. Detente si no coinciden y obtén el conjunto de datos propio correcto.
checkpoint_mismatch recovery Obligatorio / sin valor predeterminado Restaura exactamente las entradas fijadas o inicia una ejecución nueva. La reanudación rechaza cualquier diferencia en las huellas del modelo, los datos, la configuración, el evaluador o la topología.
budget_exhausted budget Obligatorio / sin valor predeterminado Conserva el estado válido más reciente. Un presupuesto mayor requiere un plan revisado por separado.
no_progress quality Obligatorio / sin valor predeterminado Inspecciona la calidad de los datos y las capacidades que faltan; luego detente dentro del límite de ciclos y no repitas indefinidamente.
regression quality Obligatorio / sin valor predeterminado Compara las capacidades de la línea base conservadas y los criterios fallidos. No ocultes una regresión perjudicial mediante promedios.
report_failed service Obligatorio / sin valor predeterminado Conserva el artefacto local válido. Consulta el estado del servicio y concilia el informe cuando esté permitido, en vez de volver a entrenar.
export_invalid artifact Obligatorio / sin valor predeterminado Inspecciona el vínculo entre el modelo base y el tokenizador, las rutas y las sumas de comprobación; no publiques hasta que se recargue correctamente.
Ejemplo · bash 
# Recover an interrupted run without starting it twice.
fpai-training status --run ./german-project/runs/german-001
# paused + valid atomic checkpoint -> resume the same pinned plan.
fpai-training resume --run ./german-project/runs/german-001
# fingerprint mismatch -> restore matching data/config; NEVER force resume.
# budget change -> create a NEW run and reviewed plan, retaining prior reports.
# no valid checkpoint -> start a NEW output directory, not a fake resume.

Informar con honestidad de un objetivo incumplido

Una pérdida de validación menor no demuestra por sí sola la capacidad solicitada. Inspecciona las tareas reservadas, la línea base, el rendimiento por tema, las capacidades conservadas y las filtraciones de datos. Detente cuando el progreso se estanque o aparezca una regresión. Ajusta el objetivo o los datos en un nuevo plan revisado en lugar de consumir recursos repetidamente con la misma configuración fallida.

  • Busca temas sin cubrir, etiquetas incorrectas, elementos de prueba duplicados y desajustes del tokenizador.
  • Registra qué criterios fallaron y cuánto presupuesto aprobado se utilizó.
  • Un modelo que no cumple la aceptación puede conservar un artefacto, pero no debe presentarse como un modelo de producción aceptado.
Ejemplo · text 
SDK 0.2.0 QUALITY DIAGNOSTICS
1. Compare untouched baseline and final model on identical held-out tasks.
2. Examine each criterion and retained capability, not an average alone.
3. Reject data overlap and examples leaked to the teacher.
4. Check label quality, topic coverage, class balance and tokenizer compatibility.
5. Use remaining approved cycles only; stop for no_progress or regression.
6. Preserve unmet_criteria and the latest valid artifact after a failed target.
7. Revise data/objective/budget in a NEW reviewed plan before a new run.
Never report accepted merely because loss decreased or a script exited normally.