Команды и код во всех языковых версиях остаются на английском. Заменяйте ЗАГЛАВНЫЕ заполнители значениями своей учетной записи и оплаченного задания. Не вставляйте реальные ключи в общие ноутбуки или журналы.
От функции потерь к приемке задачи
- Исходный уровень Работа исходной модели-ученика
- Обученная модель Те же условия оценки
- Результаты задач Качество, правильность и ошибки
- Решение Принять или указать невыполненные требования
Исходный уровень: Работа исходной модели-ученика. Обученная модель: Те же условия оценки. Результаты задач: Качество, правильность и ошибки. Решение: Принять или указать невыполненные требования
Измерьте исходный уровень и итоговые критерии
TrainingProject оценивает исходную и итоговую модели на локальных проверочных данных или данных итогового теста. Для каждого критерия в оценочной шкале указывается зарегистрированная детерминированная метрика и порог minimum_score. Встроенные метрики: exact_match, macro_f1, text_similarity и chrf; пользовательские оценщики можно зарегистрировать с явной версией. Отложенные данные остаются локальными.
- Описание поясняет критерий, но само по себе не выполняет семантическую оценку.
- Сравнивайте результаты по каждому критерию и проверяйте сохранение навыков, а не только средний балл.
- Храните вместе оценочную шкалу, fingerprints данных и отчеты исходной и итоговой оценки.
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
session.get("status") == "completed"
and isinstance(runtime_report, dict)
and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
and server_report.get("delivery") == "runtime_local"
and server_report.get("verification") == "runtime_reported"
):
print("Server report matches the local artifact digest.")
else:
print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.Оценка навыков немецкого языка
Если цель обучения связана с немецким языком, оценивайте отдельно понимание, грамматику, письмо, перевод и рассуждения, когда это входит в область проверки. Используйте скрытые задания, понятные людям критерии оценки и информативные примеры ошибок. Также проверьте, сохранились ли уже имеющиеся навыки. Оценка эталонной моделью может помочь, но не используйте одни и те же сгенерированные примеры и как учебный материал, и как итоговое доказательство качества.
- Классификация: точность и полнота по классам, структура ошибок классификации.
- Перевод: смысл, терминология, числа, имена и пропуски.
- Письмо: грамматическая правильность, ясность, тон и выполнение задания.
Запускайте ограниченные циклы улучшения
TrainingProject оценивает темы программы, при разрешенной передаче готовит одобренные уроки и выполняет ограниченные циклы улучшения. Остановка происходит при приемке, исчерпании бюджета, отсутствии прогресса, отмене или регрессии. В отчетах остаются невыполненные цели и измеренные критерии; успешная проверка одной задачи не подтверждает более широкие возможности модели.
- Не используйте данные итоговой приемки в цикле улучшения.
- Фиксируйте версии собственных оценщиков для воспроизводимого сравнения.
- Проверяйте каждый критерий и регрессию отдельно, не скрывая сбои средним баллом.