メインコンテンツへスキップ
学習ガイドの章 すべてのドキュメント

進捗を評価し、受け入れを判断する

学習の診断に加え、タスク単位の基準と言語品質の評価を行います。

どの言語版でもコマンドとコードは英語のままです。大文字のプレースホルダーは、ご自身のアカウントと有料ジョブの値に置き換えてください。共有ノートブックやログに実際のキーを貼り付けないでください。

損失からタスクの受け入れ判定へ

損失の改善は一つの指標です。分野の能力は別途タスクで確認する必要があります。
  1. ベースライン 未変更の生徒モデルの性能
  2. 学習済みモデル 同一の評価条件
  3. タスクの結果 品質、正確性、誤り
  4. 判断 受け入れ、または未達要件を報告

ベースライン: 未変更の生徒モデルの性能. 学習済みモデル: 同一の評価条件. タスクの結果: 品質、正確性、誤り. 判断: 受け入れ、または未達要件を報告

ベースラインと最終基準を測定する

TrainingProject はローカルの検証データまたは最終テストデータを使い、未変更の生徒モデルと最終モデルを評価します。ルーブリックの各基準には、登録済みの決定的な metric と minimum_score のしきい値を指定します。組み込み metric は exact_match、macro_f1、text_similarity、chrf です。カスタム評価器は明示的なバージョンを付けて登録できます。ベースラインと最終のホールドアウト評価はローカルに保たれます。

  • 説明文は基準の補足であり、それ自体が意味を判定する採点ではありません。
  • 平均値だけでなく、基準ごとのスコアと維持された能力を確認します。
  • ルーブリック、データのフィンガープリント、ベースライン/最終評価レポートをまとめて保管します。
例 · python
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
    print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.
例 · python
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
    session.get("status") == "completed"
    and isinstance(runtime_report, dict)
    and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
    and server_report.get("delivery") == "runtime_local"
    and server_report.get("verification") == "runtime_reported"
):
    print("Server report matches the local artifact digest.")
else:
    print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.

ドイツ語能力の評価

ドイツ語を対象とする場合は、範囲に含まれる読解、文法、文章作成、翻訳、推論を個別に評価します。非公開のタスク、人が理解しやすい適切な評価基準、意味のある誤りの例を使ってください。既存能力の維持も測定します。教師モデルによる採点は評価の参考になりますが、同じ生成例を教材と最終的な品質証明の両方に使うことは避けてください。

  • 分類:クラス別の適合率、再現率、混同行列の傾向。
  • 翻訳:意味、用語、数値、氏名、訳抜け。
  • 文章作成:文法の正確さ、明瞭さ、文体、タスクの達成度。

上限付きの改善サイクル

TrainingProject はカリキュラムのトピックを評価し、共有ポリシーが許可する場合に承認済みのレッスンを準備して、回数を制限した改善サイクルを実行します。受け入れ、予算切れ、進捗停止、キャンセル、性能低下で停止します。レポートには未達目標と測定結果が残り、タスクの合格はモデル全体の能力を証明しません。

  • 改善中も最終受け入れ評価のデータは変更しません。
  • 再現可能な比較のため、カスタム評価器のバージョンを固定します。
  • 失敗を平均値で隠さず、基準と回帰を個別に確認します。