Saltar al contenido principal
Capítulos de la guía de entrenamiento Toda la documentación

Prepara datos de entrenamiento fiables

Prepara archivos JSONL locales de entrenamiento y evaluación, con particiones, validación y controles de privacidad explícitos.

Capítulos de la guía de entrenamiento

Los comandos y el código se mantienen en inglés en todos los idiomas. Sustituye los marcadores en mayúsculas por valores de tu cuenta y de tu tarea de pago; no pegues claves reales en cuadernos ni registros compartidos.

Separar entrenamiento y evaluación

Los archivos locales de texto de entrenamiento y las filas prompt/target de evaluación se mantienen separados.
  1. Fuentes Texto de entrenamiento aprobado
  2. Calidad Validar, revisar y eliminar duplicados
  3. Entrenamiento Ejemplos usados para actualizar los pesos
  4. Validación Guiar la mejora sin enseñar respuestas
  5. Prueba final Aceptación local con datos reservados

Preparar conjuntos de datos JSONL locales

Las fuentes de entrenamiento contienen objetos JSONL con un campo text. Las filas JSONL de evaluación incluyen prompt, target y criterion y se evalúan localmente. Los archivos de validación y prueba final se mantienen separados de los datos de entrenamiento y de las solicitudes al modelo de referencia. La preparación valida las filas, elimina duplicados entre particiones si está configurado y registra huellas y exclusiones.

  • Usa un objeto JSON por línea y codificación UTF-8.
  • No incluyas respuestas de validación ni de prueba final en el texto de entrenamiento.
  • Las solicitudes al modelo de referencia solo pueden incluir ejemplos de entrenamiento aprobados explícitamente.
Ejemplo · python 
from fusionpointai_training.client import DatasetManifest

# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
    manifest = DatasetManifest(
        split=item["split"], sha256=item["sha256"],
        bytes=item["bytes"], rows=item["rows"],
    )
    rows = client.download_dataset(ready["id"], manifest)
    print(manifest.split, len(rows), manifest.sha256)
    # Each row has a text field. Do not log private training content.
Ejemplo · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
    print(
        manifest["split"],
        "rows:", manifest["rows"],
        "bytes:", manifest["bytes"],
        "sha256:", manifest["sha256"],
    )
# These are server-provided manifest values, not a local integrity pass.
Ejemplo · python 
import hashlib
from pathlib import Path

dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.

Evitar filtraciones y proteger datos sensibles

Mantén los datos de aceptación final fuera del ciclo de entrenamiento. Elimina los datos personales sensibles cuando sea necesario, confirma los derechos de uso y revisa los ejemplos generados para detectar errores o contenido dañino. La deduplicación configurada y las huellas ayudan a detectar solapamientos y mantener la integridad; no demuestran la veracidad ni sustituyen la revisión de privacidad.

  • La huella de un archivo demuestra su integridad, no la veracidad ni la calidad de los datos.
  • No uses registros reales de clientes en notebooks compartidos.
  • Registra el origen, el permiso, el tema y el historial de transformaciones para poder reproducir el proceso.

Definir las particiones y el uso compartido

El proyecto valida los archivos locales de entrenamiento y evaluación, aplica la deduplicación configurada, registra las huellas de los datos y excluye la prueba final de la optimización. Con teacher_sharing en approved_only, solo se puede enviar al modelo de referencia autorizado texto de entrenamiento aprobado; con none, los ejemplos del cliente permanecen locales.

  • Los ejemplos sintéticos del modelo de referencia se guardan como texto de entrenamiento, nunca como respuestas de evaluación.
  • La ruta de la prueba final debe coincidir con rubric.final_test.path.
  • Las versiones y huellas de los conjuntos de datos forman parte de la procedencia de la ejecución.