Zum Hauptinhalt springen
Kapitel des Trainingsleitfadens Alle Dokumentationen

Vertrauenswürdige Trainingsdaten vorbereiten

Lokale JSONL-Dateien für Training und Evaluation mit klaren Splits, Validierung und Datenschutz vorbereiten.

Kapitel des Trainingsleitfadens

Befehle und Code bleiben in allen Sprachen auf Englisch. Ersetzen Sie GROSSGESCHRIEBENE Platzhalter durch Werte Ihres eigenen Kontos und bezahlten Auftrags. Fügen Sie echte Schlüssel nicht in gemeinsam genutzte Notebooks oder Protokolle ein.

Trainings- und Evaluationsdaten trennen

Lokale Trainings-, Validierungs- und Abschlusstestdaten getrennt halten.
  1. Quellen Freigegebene Teacher- und Kundendaten
  2. Qualität Validieren, prüfen und Duplikate entfernen
  3. Training Beispiele für Gewichtsaktualisierungen
  4. Validierung Verbesserungen messen, ohne Testantworten zu trainieren
  5. Abschlusstest Zurückgehaltene Aufgaben lokal auswerten

Lokale JSONL-Datensätze vorbereiten

Trainingsquellen enthalten JSONL-Objekte mit einem text-Feld. Evaluationszeilen enthalten prompt, target und criterion und werden lokal ausgewertet. Validierungs- und Abschlusstestdateien müssen von Trainingsdaten und Teacher-Anfragen getrennt bleiben. Die Vorbereitung prüft Zeilen, führt konfigurierte Deduplizierung aus und erfasst Fingerprints und Ausschlüsse.

  • Eine JSON-Zeile pro Datensatz und UTF-8 verwenden.
  • Keine Validierungs- oder Abschlusstestantworten in Trainingsdaten aufnehmen.
  • Teacher-Anfragen dürfen nur ausdrücklich freigegebene Trainingsbeispiele enthalten.
Beispiel · python 
from fusionpointai_training.client import DatasetManifest

# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
    manifest = DatasetManifest(
        split=item["split"], sha256=item["sha256"],
        bytes=item["bytes"], rows=item["rows"],
    )
    rows = client.download_dataset(ready["id"], manifest)
    print(manifest.split, len(rows), manifest.sha256)
    # Each row has a text field. Do not log private training content.
Beispiel · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
    print(
        manifest["split"],
        "rows:", manifest["rows"],
        "bytes:", manifest["bytes"],
        "sha256:", manifest["sha256"],
    )
# These are server-provided manifest values, not a local integrity pass.
Beispiel · python 
import hashlib
from pathlib import Path

dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.

Datenlecks vermeiden und sensible Daten schützen

Halten Sie Material für die abschließende Abnahme aus dem Trainingsablauf heraus. Entfernen Sie erforderlichenfalls sensible personenbezogene Daten, klären Sie Nutzungsrechte und prüfen Sie erzeugte Beispiele auf Fehler oder schädliche Muster. Konfigurierte Deduplizierung und Dateifingerprints helfen, Überschneidungen zu erkennen und Integrität zu sichern; sie belegen weder die Wahrheit noch ersetzen sie eine Datenschutzprüfung.

  • Ein Dateihash belegt Integrität, nicht Wahrheit oder Datensatzqualität.
  • Verwenden Sie keine echten Kundendaten in gemeinsam genutzten Notebook-Beispielen.
  • Dokumentieren Sie Quelle, Berechtigung, Thema und Verarbeitungsschritte für Reproduzierbarkeit.

Datensplits und Teacher-Freigabe festlegen

Das Projekt prüft lokale Trainings- und Evaluationsdateien, führt konfigurierte Deduplizierung aus, erfasst Daten-Fingerprints und schließt den Abschlusstest von der Optimierung aus. Mit teacher_sharing: approved_only dürfen nur freigegebene Trainingstexte an den autorisierten Teacher gehen; mit none bleiben Kundendaten lokal.

  • Synthetische Teacher-Beispiele werden als Trainingstext gespeichert, nicht als Evaluationsantworten.
  • Der Pfad des Abschlusstests muss rubric.final_test.path entsprechen.
  • Datensatzversionen und Fingerprints sind Teil der Laufherkunft.