Los comandos y el código se mantienen en inglés en todos los idiomas. Sustituye los marcadores en mayúsculas por valores de tu cuenta y de tu tarea de pago; no pegues claves reales en cuadernos ni registros compartidos.
De la pérdida a la aceptación de tareas
- Nivel inicial Rendimiento del modelo sin modificar
- Modelo entrenado Mismas condiciones de evaluación
- Resultados de tareas Calidad, corrección y errores
- Decisión Aceptar o informar de requisitos no satisfechos
Nivel inicial: Rendimiento del modelo sin modificar. Modelo entrenado: Mismas condiciones de evaluación. Resultados de tareas: Calidad, corrección y errores. Decisión: Aceptar o informar de requisitos no satisfechos
Medir los criterios iniciales y finales
TrainingProject evalúa el modelo sin modificar y el modelo final con filas locales de validación o de prueba final. Cada criterio de la rúbrica indica una métrica determinista registrada y un umbral minimum_score. Las métricas integradas son exact_match, macro_f1, text_similarity y chrf; se pueden registrar evaluadores personalizados con una versión explícita. Las evaluaciones iniciales y finales con datos reservados se ejecutan localmente.
- La descripción explica el criterio, pero no realiza por sí misma una evaluación semántica.
- Compara las puntuaciones de cada criterio y revisa las capacidades conservadas; no te bases solo en un promedio.
- Conserva juntos la rúbrica, las huellas de los datos y los informes de evaluación inicial y final.
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
session.get("status") == "completed"
and isinstance(runtime_report, dict)
and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
and server_report.get("delivery") == "runtime_local"
and server_report.get("verification") == "runtime_reported"
):
print("Server report matches the local artifact digest.")
else:
print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.Evaluación de las capacidades en alemán
Para un objetivo en alemán, evalúa por separado la comprensión, la gramática, la redacción, la traducción y el razonamiento cuando correspondan. Utiliza tareas ocultas, rúbricas claras para las personas y ejemplos de errores relevantes. Mide también la conservación de las capacidades existentes. La evaluación de un modelo de referencia puede servir de apoyo, pero no uses los mismos ejemplos generados como lecciones y como prueba final de calidad.
- Clasificación: precisión y exhaustividad por clase y patrones de confusión.
- Traducción: significado, terminología, números, nombres y omisiones.
- Redacción: corrección gramatical, claridad, tono y cumplimiento de la tarea.
Ejecutar ciclos de mejora limitados
TrainingProject evalúa los temas del currículo, prepara lecciones aprobadas cuando el uso compartido lo permite y ejecuta ciclos de mejora limitados. Las condiciones de parada incluyen la aceptación, el agotamiento del presupuesto, la falta de progreso, la cancelación o una regresión. Los informes conservan los objetivos pendientes y los criterios medidos; superar una tarea no certifica capacidades más amplias del modelo.
- Mantén intactos los datos de aceptación final durante todo el proceso de mejora.
- Fija la versión de los evaluadores personalizados para poder reproducir las comparaciones.
- Revisa cada criterio y cada regresión; no ocultes un fallo con un promedio.