Befehle und Code bleiben in allen Sprachen auf Englisch. Ersetzen Sie GROSSGESCHRIEBENE Platzhalter durch Werte Ihres eigenen Kontos und bezahlten Auftrags. Fügen Sie echte Schlüssel nicht in gemeinsam genutzte Notebooks oder Protokolle ein.
Vom Verlust zur Aufgabenabnahme
- Ausgangswert Leistung des unveränderten Student-Modells
- Trainiertes Modell Dieselben Evaluationsbedingungen
- Aufgabenergebnisse Qualität, Korrektheit und Fehler
- Entscheidung Abnehmen oder unerfüllte Anforderungen melden
Ausgangswert: Leistung des unveränderten Student-Modells. Trainiertes Modell: Dieselben Evaluationsbedingungen. Aufgabenergebnisse: Qualität, Korrektheit und Fehler. Entscheidung: Abnehmen oder unerfüllte Anforderungen melden
Baseline und Abschlusskriterien messen
TrainingProject bewertet das unveränderte Student-Modell und das Endmodell anhand lokaler Validierungs- oder Abschlusstestdaten. Jedes Kriterium im Bewertungsraster benennt eine registrierte deterministische Metrik und einen minimum_score. Integrierte Metriken sind exact_match, macro_f1, text_similarity und chrf; eigene Scorer können mit expliziter Version registriert werden. Zurückgehaltene Daten bleiben lokal.
- Beschreibungstext erläutert ein Kriterium, ist aber selbst kein semantischer Evaluator.
- Vergleichen Sie jedes Kriterium einzeln und prüfen Sie erhaltene Fähigkeiten statt nur den Mittelwert.
- Bewahren Sie Bewertungsraster, Daten-Fingerprints und Baseline-/Abschlussberichte zusammen auf.
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
session.get("status") == "completed"
and isinstance(runtime_report, dict)
and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
and server_report.get("delivery") == "runtime_local"
and server_report.get("verification") == "runtime_reported"
):
print("Server report matches the local artifact digest.")
else:
print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.Evaluation deutscher Sprachfähigkeiten
Bei einem deutschen Trainingsziel sollten Sie, soweit relevant, Verständnis, Grammatik, Schreiben, Übersetzung und Schlussfolgern getrennt bewerten. Verwenden Sie verborgene Aufgaben, geeignete, für Menschen lesbare Bewertungsraster und aussagekräftige Fehlerbeispiele. Prüfen Sie auch, ob vorhandene Fähigkeiten erhalten bleiben. Bewertungen durch ein Teacher-Modell können hilfreich sein; verwenden Sie jedoch nicht dieselben erzeugten Beispiele als Lehrmaterial und als abschließenden Qualitätsnachweis.
- Klassifizierung: Präzision und Trefferquote je Klasse sowie Verwechslungsmuster.
- Übersetzung: Bedeutung, Terminologie, Zahlen, Namen und Auslassungen.
- Schreiben: grammatische Korrektheit, Klarheit, Ton und Aufgabenerfüllung.
Begrenzte Verbesserungszyklen ausführen
TrainingProject bewertet Themen des Lehrplans, bereitet bei erlaubter Freigabe genehmigte Lektionen vor und führt begrenzte Verbesserungszyklen aus. Abbruchbedingungen sind Abnahme, ausgeschöpftes Budget, fehlender Fortschritt, Abbruch oder Regression. Berichte halten unerfüllte Ziele und Messwerte fest; eine bestandene Aufgabe belegt keine umfassendere Modellfähigkeit.
- Abschließende Abnahmedaten während der Verbesserung unangetastet lassen.
- Eigene Evaluatoren für reproduzierbare Vergleiche versionieren.
- Jedes Kriterium und jede Regression einzeln prüfen, statt Fehler durch Mittelwerte zu verdecken.