Saltar para o conteúdo principal
Capítulos do guia de treino Toda a documentação

Prepare dados de treino fiáveis

Prepare ficheiros JSONL locais de treino e avaliação, com partições, validação e controlos de privacidade explícitos.

Capítulos do guia de treino

Os comandos e o código permanecem em inglês em todos os idiomas. Substitua os marcadores em maiúsculas pelos valores da sua conta e da sua tarefa paga; não cole chaves reais em cadernos partilhados nem em registos.

Manter o treino e a avaliação separados

As partições de treino, validação e teste final são ficheiros distintos; os dados de teste não entram na otimização.
  1. Fontes Dados aprovados do cliente e do modelo de referência
  2. Qualidade Validar, rever e remover duplicados
  3. Treino Exemplos usados para atualizar os pesos
  4. Validação Orientar melhorias sem expor as respostas
  5. Teste final Aceitação com dados reservados

Preparar conjuntos de dados JSONL locais

As fontes de treino contêm objetos JSONL com um campo text. As linhas JSONL de avaliação incluem os campos prompt, target e criterion e são avaliadas localmente. Os ficheiros de validação e teste final mantêm-se separados dos dados de treino e dos pedidos ao modelo de referência. A preparação valida as linhas, elimina duplicados entre partições quando configurado e regista impressões digitais e exclusões.

  • Use um objeto JSON por linha e a codificação UTF-8.
  • Não inclua respostas de validação nem de teste final no texto de treino.
  • Os pedidos ao modelo de referência só podem incluir exemplos de treino explicitamente aprovados.
Exemplo · python 
from fusionpointai_training.client import DatasetManifest

# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
    manifest = DatasetManifest(
        split=item["split"], sha256=item["sha256"],
        bytes=item["bytes"], rows=item["rows"],
    )
    rows = client.download_dataset(ready["id"], manifest)
    print(manifest.split, len(rows), manifest.sha256)
    # Each row has a text field. Do not log private training content.
Exemplo · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
    print(
        manifest["split"],
        "rows:", manifest["rows"],
        "bytes:", manifest["bytes"],
        "sha256:", manifest["sha256"],
    )
# These are server-provided manifest values, not a local integrity pass.
Exemplo · python 
import hashlib
from pathlib import Path

dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.

Evitar fugas e proteger dados sensíveis

Mantenha os dados de aceitação final fora do ciclo de treino. Remova dados pessoais sensíveis quando necessário, confirme os direitos de utilização e reveja os exemplos gerados para detetar erros ou conteúdos prejudiciais. A deduplicação configurada e as impressões digitais ajudam a identificar sobreposições e a preservar a integridade; não comprovam a veracidade nem substituem uma revisão de privacidade.

  • A impressão digital de um ficheiro comprova a integridade, não a veracidade nem a qualidade dos dados.
  • Não utilize registos reais de clientes em notebooks partilhados.
  • Registe a origem, a autorização, o tema e o histórico de transformações para permitir a reprodução.

Definir as partições e a partilha com o modelo de referência

O projeto valida os ficheiros locais de treino e avaliação, aplica a deduplicação configurada, regista impressões digitais dos dados e exclui o teste final da otimização. Com teacher_sharing igual a approved_only, apenas texto de treino aprovado pode ser enviado ao modelo de referência autorizado; com none, os exemplos do cliente permanecem locais.

  • Os exemplos sintéticos do modelo de referência são guardados como texto de treino, nunca como respostas de avaliação.
  • O caminho do teste final tem de corresponder a rubric.final_test.path.
  • As versões e impressões digitais dos conjuntos de dados fazem parte da proveniência da execução.