Passer au contenu principal
Chapitres du guide d’entraînement Toute la documentation

Évaluer les progrès et décider de l’acceptation

Évaluez les critères par tâche et la qualité linguistique, en complément des diagnostics d’entraînement.

Chapitres du guide d’entraînement

Les commandes et le code restent en anglais dans toutes les langues. Remplacez les espaces réservés en majuscules par les valeurs de votre compte et de votre tâche payante ; ne collez pas de vraies clés dans des carnets ou des journaux partagés.

De la perte à l’acceptation de la tâche

La baisse de perte est un indicateur ; la compétence dans un domaine nécessite des tests distincts.
  1. Niveau initial Performances du modèle non modifié
  2. Modèle entraîné Mêmes conditions d’évaluation
  3. Résultats des tâches Qualité, exactitude et erreurs
  4. Décision Accepter ou signaler les exigences non satisfaites

Mesurer les critères initiaux et finaux

TrainingProject évalue le modèle intact puis le modèle final sur des lignes locales de validation ou de test final. Chaque critère de la grille indique une métrique déterministe enregistrée et un seuil minimum_score. Les métriques intégrées sont exact_match, macro_f1, text_similarity et chrf ; des évaluateurs personnalisés peuvent être enregistrés avec une version explicite. Les évaluations de référence et finales sur données réservées restent locales.

  • La description explique un critère, mais ne réalise pas elle-même une évaluation sémantique.
  • Comparez les scores par critère et vérifiez les capacités conservées, pas seulement une moyenne.
  • Conservez ensemble la grille, les empreintes des données et les rapports d’évaluation initiale et finale.
Exemple · python 
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
    print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.
Exemple · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
    session.get("status") == "completed"
    and isinstance(runtime_report, dict)
    and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
    and server_report.get("delivery") == "runtime_local"
    and server_report.get("verification") == "runtime_reported"
):
    print("Server report matches the local artifact digest.")
else:
    print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.

Évaluer les capacités en allemand

Pour un objectif portant sur l’allemand, évaluez séparément la compréhension, la grammaire, la rédaction, la traduction et le raisonnement lorsqu’ils sont concernés. Utilisez des tâches cachées, des grilles d’évaluation compréhensibles par des personnes et des exemples d’erreurs pertinents. Mesurez également le maintien des capacités existantes. L’évaluation par un modèle de référence peut aider, mais n’utilisez pas les mêmes exemples générés comme leçons et comme preuve finale de qualité.

  • Classification : précision et rappel par classe, ainsi que tendances de confusion.
  • Traduction : sens, terminologie, nombres, noms et omissions.
  • Rédaction : correction grammaticale, clarté, ton et réalisation de la tâche.

Exécuter des cycles d’amélioration limités

TrainingProject évalue les thèmes du programme, prépare des leçons approuvées lorsque le partage le permet et exécute des cycles d’amélioration limités. Les conditions d’arrêt comprennent l’acceptation, l’épuisement du budget, l’absence de progrès, l’annulation ou une régression. Les rapports conservent les objectifs non atteints et les critères mesurés ; la réussite d’une tâche ne certifie pas des capacités plus larges du modèle.

  • Gardez les données d’acceptation finale intactes pendant toute l’amélioration.
  • Épinglez la version des évaluateurs personnalisés pour rendre les comparaisons reproductibles.
  • Examinez chaque critère et chaque régression au lieu de masquer un échec dans une moyenne.