Перейти к основному содержимому
Главы руководства по обучению Вся документация

Учебные материалы по обучению моделей и полные примеры

Примеры SDK для немецкого языка, классификации, перевода, конфиденциальных данных, хостинга, Colab, нескольких GPU и экспорта.

Команды и код во всех языковых версиях остаются на английском. Заменяйте ЗАГЛАВНЫЕ заполнители значениями своей учетной записи и оплаченного задания. Не вставляйте реальные ключи в общие ноутбуки или журналы.

Составьте полный рецепт обучения

Полезный пример включает данные, вычислительные ресурсы и приемку, а не только prompt.
  1. Задача Язык или бизнес-цель
  2. Входные данные Обучение, валидация и скрытый тест
  3. Среда Совместимые вычислительные ресурсы и хранилище
  4. Результаты Принятые критерии и допустимый результат

Задача: Язык или бизнес-цель. Входные данные: Обучение, валидация и скрытый тест. Среда: Совместимые вычислительные ресурсы и хранилище. Результаты: Принятые критерии и допустимый результат

Обучите отдельную модель для немецкого языка

Начните с полной конфигурации автоматического обучения из главы о настройке. Создайте каталог проекта с совместимой ученической моделью, проверенными учебными материалами, отдельными наборами для проверки и итогового теста, а также оценочной шкалой для немецкого языка. Выберите референсную модель, включенную в ваш тариф провайдера. SDK должен предложить необходимые предварительные темы, определить исходный уровень и улучшать результат в пределах утвержденных бюджетов.

  • В приведенном ниже JSON формат данных показан на английском; в настоящих файлах данных разместите проверенные немецкие тексты, по одному объекту на строку.
  • Используйте полную конфигурацию автоматического обучения как файл проекта для запуска, а не фрагмент рецепта.
  • Независимо измеряйте понимание, письмо, перевод и рассуждение. Нельзя рассчитывать, что небольшая ученическая модель справится с каждой задачей так же хорошо, как модель-учитель.
Пример · jsonl
{"text":"Customer: My invoice total is incorrect. Category: billing"}
{"text":"Customer: I cannot sign in. Category: account_access"}
{"text":"Customer: The application closes when I upload a file. Category: technical_issue"}
Пример · bash
# Full Automatic German-language workflow.
# 1. Put a compatible local model in german-project/models/student/.
# 2. Save the complete project configuration as german-project/training.json.
# 3. Add independent train/validation/test files and the reviewed german rubric.
# 4. Replace provider/reference placeholders using your included model catalogue.
fpai-training doctor --config ./german-project/training.json
fpai-training plan --config ./german-project/training.json --dry-run
# The plan must break the objective into prerequisites and measurable topics.
fpai-training run --config ./german-project/training.json
fpai-training evaluate --run ./german-project/runs/german-001 --split test
fpai-training export --run ./german-project/runs/german-001 --format safetensors
# Evaluate comprehension, writing, translation and reasoning separately.
# A passed classifier does not prove all German-language capabilities.

Настройте проект под бизнес-задачу

Следующие примеры JSON — фрагменты конфигурации, а не полные файлы проекта. Скопируйте полную конфигурацию автоматического или расширенного обучения, замените указанные разделы фрагментом, сохраните идентификацию, модель, модель-учителя, среду выполнения и конечные бюджеты, а затем проверьте весь файл. Для классификации и перевода нужны разные темы, данные и критерии приемки.

  • Для классификации обращений в поддержку приводите точность и полноту по каждому классу, macro F1, баланс классов и неоднозначные случаи.
  • Проверяйте перевод на независимых двуязычных примерах: смысл, терминологию, имена, числа и тон.
  • При teacher_sharing: none записи клиентов остаются локальными. Если цель нельзя достичь без запрещенной передачи данных, остановитесь и объясните причину, а не загружайте данные.
Пример · json
{
  "schema_version": "1.0", "mode": "automatic",
  "objective": "Classify support messages into billing, account_access or technical_issue.",
  "model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
  "teacher": {"provider": "openai", "reference_model_id": 123},
  "data": {"sources": ["./data/train.jsonl"], "teacher_sharing": "none", "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl", "deduplicate": true, "seed": 42},
  "runtime": {"target": "customer_datacenter", "devices": "auto", "distributed": {"backend": "none", "nodes": 1}},
  "training": {"method": "auto"},
  "curriculum": {"topics": ["intent", "ambiguous_requests", "class_balance"], "max_improvement_cycles": 3, "stop_on_regression": true},
  "budgets": {"max_training_minutes": 120, "max_teacher_requests": 100, "max_storage_gib": 20},
  "checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
  "evaluation": {"rubric": "./rubric.json", "baseline_required": true},
  "output": {"directory": "./runs/support-001", "format": "adapters"}
}
Пример · json
{
  "objective": "Translate English support replies into German while preserving names, numbers and meaning.",
  "curriculum": {"topics": ["terminology", "meaning", "names_and_numbers", "tone"], "max_improvement_cycles": 3, "stop_on_regression": true},
  "evaluation": {"rubric": "./rubrics/translation.json", "baseline_required": true},
  "data": {"sources": ["./data/translation-train.jsonl"], "validation_path": "./data/translation-validation.jsonl", "test_path": "./data/translation-test.jsonl", "teacher_sharing": "approved_only"},
  "output": {"directory": "./runs/translation-001", "format": "safetensors"}
}
Пример · jsonl
{"prompt":"My invoice total is wrong. Which category applies?","target":"billing","criterion":"support_category"}
{"prompt":"I cannot sign in. Which category applies?","target":"account_access","criterion":"support_category"}
Пример · json
{
  "schema_version": "1.0",
  "name": "support-category-evaluation",
  "scale": {"minimum": 0, "maximum": 1},
  "criteria": [
    {"id": "support_category", "description": "Match the expected category.", "metric": "macro_f1", "minimum_score": 0.85}
  ],
  "regression": {"maximum_score_drop": 0.02},
  "final_test": {"path": "./data/test.jsonl", "allow_training_use": false}
}

Выберите подходящую инфраструктуру и безопасно подготовьте результат

Эти примеры среды выполнения также являются фрагментами полной проверенной конфигурации. FusionPointAI Hosting, дата-центр заказчика и совместимая среда Colab предоставляют вычислительные ресурсы; выбор названия не выделяет GPU, не покупает кредиты для ноутбука и не делает другую среду совместимой. SDK загружает и обучает ученическую модель в выбранной среде. Сохраните результаты до завершения временного ноутбука.

  • Пример с хостингом: используйте предусмотренную договором вычислительную среду, утвержденное хранилище и права учетной записи; при необходимости хостинг является отдельной коммерческой услугой.
  • Пример с Colab: сохраните API-ключ в секретах ноутбука, проверьте доступные GPU и хранилище, а до завершения среды скопируйте контрольные точки в утвержденное постоянное хранилище.
  • Распределенный пример: используйте уполномоченный координатор и аутентифицированное взаимодействие узлов, совпадающие зафиксированные окружения и согласованные значения rendezvous и rank. Launcher должен управлять только worker-процессами этого проекта.
Пример · json
{
  "runtime": {"target": "fusionpointai_hosting", "devices": "auto", "distributed": {"backend": "none", "nodes": 1}},
  "budgets": {"max_training_minutes": 60, "max_teacher_requests": 500, "max_storage_gib": 20},
  "output": {"directory": "./runs/hosted-001", "format": "safetensors"}
}
Пример · json
{
  "runtime": {"target": "colab", "devices": [0], "distributed": {"backend": "none", "nodes": 1}},
  "checkpoints": {"every_steps": 50, "keep_last": 2, "resume_validation": "strict"},
  "budgets": {"max_training_minutes": 30, "max_teacher_requests": 100, "max_storage_gib": 10},
  "output": {"directory": "./runs/colab-001", "format": "adapters"}
}
Пример · json
{
  "runtime": {"target": "customer_datacenter", "devices": [0, 1], "distributed": {"backend": "ddp", "nodes": 2}},
  "checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
  "output": {"directory": "./runs/distributed-001", "format": "safetensors"}
}
Пример · bash
# Export a validated adapter or full model, not teacher weights.
fpai-training evaluate --run ./german-project/runs/support-001 --split test
fpai-training export --run ./german-project/runs/support-001 --format adapters
# Inspect artifact-manifest.json, pinned base/tokenizer and evaluation-report.json.
# Reload the package in a fresh compatible runtime before changing live inference.
# Export does not deploy, allocate hosting, or upload to an external model hub.