Passer au contenu principal
Chapitres du guide d’entraînement Toute la documentation

Préparer des données d’entraînement fiables

Préparez des fichiers JSONL locaux pour l’entraînement et l’évaluation, avec partitions, validation et contrôles de confidentialité explicites.

Chapitres du guide d’entraînement

Les commandes et le code restent en anglais dans toutes les langues. Remplacez les espaces réservés en majuscules par les valeurs de votre compte et de votre tâche payante ; ne collez pas de vraies clés dans des carnets ou des journaux partagés.

Séparer entraînement et évaluation

Les fichiers d’entraînement, de validation et de test final sont distincts ; les données de test ne participent pas à l’optimisation.
  1. Sources Données approuvées du client et du modèle de référence
  2. Qualité Valider, examiner et dédupliquer
  3. Entraînement Exemples utilisés pour modifier les poids
  4. Validation Orienter l’amélioration sans révéler les réponses
  5. Test final Acceptation sur des données réservées

Préparer des jeux de données JSONL locaux

Les sources d’entraînement contiennent des objets JSONL avec un champ text. Les lignes JSONL d’évaluation contiennent les champs prompt, target et criterion et sont évaluées localement. Les fichiers de validation et de test final restent séparés des données d’entraînement et des requêtes au modèle de référence. La préparation valide les lignes, déduplique les partitions si cette option est configurée et consigne les empreintes et les exclusions.

  • Placez un objet JSON par ligne et utilisez UTF-8.
  • N’incluez pas les réponses de validation ou de test final dans les textes d’entraînement.
  • Les requêtes au modèle de référence ne peuvent inclure que des exemples d’entraînement explicitement approuvés.
Exemple · python 
from fusionpointai_training.client import DatasetManifest

# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
    manifest = DatasetManifest(
        split=item["split"], sha256=item["sha256"],
        bytes=item["bytes"], rows=item["rows"],
    )
    rows = client.download_dataset(ready["id"], manifest)
    print(manifest.split, len(rows), manifest.sha256)
    # Each row has a text field. Do not log private training content.
Exemple · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
    print(
        manifest["split"],
        "rows:", manifest["rows"],
        "bytes:", manifest["bytes"],
        "sha256:", manifest["sha256"],
    )
# These are server-provided manifest values, not a local integrity pass.
Exemple · python 
import hashlib
from pathlib import Path

dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.

Éviter les fuites et protéger les données sensibles

Gardez les données d’acceptation finale en dehors de la boucle d’entraînement. Supprimez les données personnelles sensibles lorsque cela est requis, confirmez les droits d’utilisation et recherchez les erreurs ou les contenus nuisibles dans les exemples générés. La déduplication configurée et les empreintes aident à repérer les recouvrements et à préserver l’intégrité ; elles ne garantissent pas la véracité et ne remplacent pas une revue de confidentialité.

  • L’empreinte d’un fichier prouve son intégrité, pas la véracité de son contenu ni la qualité des données.
  • N’utilisez pas de vrais dossiers clients dans des carnets partagés.
  • Consignez l’origine, les autorisations, le thème et les transformations pour pouvoir reproduire le processus.

Définir les partitions et le partage avec le modèle de référence

Le projet valide les fichiers locaux d’entraînement et d’évaluation, applique la déduplication configurée, consigne les empreintes et exclut le test final de l’optimisation. Avec teacher_sharing défini sur approved_only, seuls les textes d’entraînement approuvés peuvent être envoyés au modèle de référence autorisé ; avec none, les exemples du client restent locaux.

  • Les exemples synthétiques du modèle de référence sont enregistrés comme textes d’entraînement, jamais comme réponses d’évaluation.
  • Le chemin du test final doit correspondre à rubric.final_test.path.
  • Les versions et empreintes des jeux de données figurent dans la provenance de l’exécution.