跳到主要内容
训练指南章节 全部文档

评估进展并决定是否验收

将任务标准和语言质量评估与训练诊断结合起来。

训练指南章节

所有语言版本中的命令和代码均保持英文。请将大写占位符替换为您账户和付费作业中的实际值；请勿将真实密钥粘贴到共享笔记本或日志中。

从损失到任务验收

损失改进只是一个信号；领域能力需要单独进行任务检查。
  1. 基线 未经修改的学生模型表现
  2. 训练后的模型 相同评估条件
  3. 任务结果 质量、正确性和错误
  4. 决策 验收或报告未满足的要求

衡量基线与最终标准

TrainingProject 会在本地验证集或最终测试集上评估未经修改的学生模型和最终模型。每项 rubric 标准都指定已注册的确定性指标和 minimum_score 阈值。内置指标包括 exact_match、macro_f1、text_similarity 和 chrf；自定义评分器可注册明确版本。基线与最终留出评估均在本地进行。

  • 描述文字用于解释标准，本身不是语义评分。
  • 逐项比较得分并检查保留能力，不要只看平均值。
  • 将 rubric、数据指纹和基线/最终评估报告一并保存。
示例 · python 
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
    print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.
示例 · python 
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
    session.get("status") == "completed"
    and isinstance(runtime_report, dict)
    and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
    and server_report.get("delivery") == "runtime_local"
    and server_report.get("verification") == "runtime_reported"
):
    print("Server report matches the local artifact digest.")
else:
    print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.

德语能力评估

如果目标涉及德语，请根据范围分别评估理解、语法、写作、翻译和推理。使用隐藏任务、适当且易于人工理解的评分标准，以及有代表性的错误示例。也要衡量已有能力是否得到保留。教师模型评分可以辅助评估，但不要把同一批生成示例既用作课程内容，又当作最终质量证明。

  • 分类：查看各类别的精确率、召回率和混淆情况。
  • 翻译：检查含义、术语、数字、姓名和遗漏。
  • 写作：评估语法准确性、清晰度、语气和任务完成度。

运行有界改进周期

TrainingProject 会评估课程主题，在共享政策允许时准备获批课程，并运行次数受限的改进周期。停止条件包括达到验收标准、预算耗尽、没有进展、取消或回归。报告会保留未满足的目标和实测标准；某项任务通过并不能证明模型具备更广泛的能力。

  • 改进过程中不得改动最终验收数据。
  • 固定自定义评估器版本，确保比较可复现。
  • 逐项检查标准和回归，不要用平均值掩盖失败。