Перейти к основному содержимому
Главы руководства по обучению Вся документация

Подготовьте надежные обучающие данные

Подготовьте локальные файлы JSONL для обучения и оценки с разделением данных, проверками и защитой конфиденциальности.

Главы руководства по обучению

Команды и код во всех языковых версиях остаются на английском. Заменяйте ЗАГЛАВНЫЕ заполнители значениями своей учетной записи и оплаченного задания. Не вставляйте реальные ключи в общие ноутбуки или журналы.

Разделяйте обучающие и оценочные данные

Храните обучающие, проверочные и итоговые тестовые данные отдельно.
  1. Источники Одобренные данные учителя и клиента
  2. Качество Проверить данные и удалить дубликаты
  3. Обучение Примеры для обновления весов
  4. Валидация Измерять улучшение, не обучаясь на ответах теста
  5. Итоговый тест Локально проверить отложенные задания

Подготовьте локальные наборы JSONL

Обучающие источники содержат объекты JSONL с полем text. Строки JSONL для оценки содержат поля prompt, target и criterion и оцениваются локально. Проверочные файлы и файлы итогового теста должны быть отделены от обучения и запросов учителю. Подготовка проверяет строки, при настройке удаляет дубликаты и сохраняет fingerprints и исключенные записи.

  • Используйте UTF-8 и один объект JSON в каждой строке.
  • Не включайте ответы из валидации или итогового теста в обучающий текст.
  • В запросы учителю можно включать только явно одобренные обучающие примеры.
Пример · python 
from fusionpointai_training.client import DatasetManifest

# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
    manifest = DatasetManifest(
        split=item["split"], sha256=item["sha256"],
        bytes=item["bytes"], rows=item["rows"],
    )
    rows = client.download_dataset(ready["id"], manifest)
    print(manifest.split, len(rows), manifest.sha256)
    # Each row has a text field. Do not log private training content.
Пример · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
    print(
        manifest["split"],
        "rows:", manifest["rows"],
        "bytes:", manifest["bytes"],
        "sha256:", manifest["sha256"],
    )
# These are server-provided manifest values, not a local integrity pass.
Пример · python 
import hashlib
from pathlib import Path

dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.

Не допускайте утечек и защищайте конфиденциальные данные

Не включайте данные итоговой приемки в цикл обучения. При необходимости удаляйте чувствительные персональные данные, проверяйте права на использование и анализируйте созданные примеры на ошибки и вредные шаблоны. Настроенная дедупликация и fingerprints файлов помогают выявлять пересечения и сохранять целостность, но не подтверждают достоверность данных и не заменяют проверку конфиденциальности.

  • Хеш файла подтверждает целостность, но не достоверность или качество набора данных.
  • Не используйте реальные данные клиентов в общих примерах для ноутбуков.
  • Для воспроизводимости фиксируйте источник, разрешение, тему и историю обработки.

Явно задавайте разделение данных и передачу учителю

Проект проверяет локальные обучающие и оценочные файлы, выполняет настроенную дедупликацию, сохраняет fingerprints данных и исключает итоговый тест из оптимизации. При teacher_sharing: approved_only авторизованной модели-учителю можно передавать только одобренные обучающие тексты; при none примеры клиента остаются локальными.

  • Синтетические примеры учителя сохраняются как обучающий текст, а не как ответы для оценки.
  • Путь к итоговому тесту должен совпадать с rubric.final_test.path.
  • Версии наборов данных и их fingerprints включаются в сведения о запуске.