メインコンテンツへスキップ
学習ガイドの章 すべてのドキュメント

学習のトラブルシューティングとエラー復旧

アクセス、データ、GPU、チェックポイント、レポート、エクスポート、品質の問題を解決し、高コストの処理をむやみに繰り返さないための案内です。

学習ガイドの章

どの言語版でもコマンドとコードは英語のままです。大文字のプレースホルダーは、ご自身のアカウントと有料ジョブの値に置き換えてください。共有ノートブックやログに実際のキーを貼り付けないでください。

再試行の前に診断する

再開する前に現在の状態を読み取り、有効な作業を保持します。
  1. 特定 アクセス、データ、計算資源、出力
  2. 確認 状態と秘匿情報を除いた診断
  3. 修正 実際の問題を解消
  4. 復旧 安全な再開または新しいレビュー済み実行

アクセスと実行環境の問題を切り分ける

HTTP ステータス、実行が所有するジョブまたはセッション ID、アカウントのスコープ、有料アクセス期間を確認します。実行前にプロジェクトの互換性とレビュー済み計画も確認してください。API key は GPU メモリを提供せず、別アカウントのリソースへのアクセスも許可しません。サポートには秘匿情報を除いた診断内容だけを共有してください。

  • パッケージのバージョン、実行環境、session/run 識別子、エラーコード、最後に成功した操作を記録します。
  • 接続エラーの後にすべての POST を再試行しないでください。サーバー側ではすでに受理されている可能性があります。
  • 診断コマンドで学習を開始したり認証情報を開示したりしないでください。
HTTP エラー
フィールドまたはインターフェース型または結果既定値または終了コード動作と検証
401 HTTP 必須 / 既定値なし API key を表示せずに有効性を確認し、アカウントで承認された認証手順を使用してください。
403 HTTP 必須 / 既定値なし ai:training スコープ、有料アクセス、所有権、利用資格を確認してください。アクセス制御を回避しないでください。
404 HTTP 必須 / 既定値なし 所有する正確な UUID とエンドポイントを確認してください。他アカウントのリソースには引き続きアクセスできない必要があります。
409 HTTP 必須 / 既定値なし 書き込みを再試行する前に現在のセッション状態を読み取ってください。準備処理によって参照モデルがすでにロックされている可能性があります。
422 HTTP 必須 / 既定値なし 返されたフィールド単位の検証エラーを修正してください。価格や未承認の設定は送信しないでください。
429 HTTP 必須 / 既定値なし レート制限に従い、安全な読み取りでは指定された待機時間を守ってください。無制限の再試行を続けてはなりません。
5xx / timeout HTTP 必須 / 既定値なし 書き込みを再試行する前に現在の状態を読み取ってください。回数を制限した GET 再試行は、準備や学習の重複実行を許可するものではありません。
例 · bash 
# Inspect package metadata, not credentials or private dataset contents.
python -m pip show fusionpointai-training
python -m pip check
# On NVIDIA hosts where nvidia-smi is installed:
nvidia-smi
# Keep the local report; never dump env, auth headers or provider responses.
# The documentation does not launch these commands for you.

計算、データ、レポートを復旧する

問題が最適化の前、学習中、有効な成果物の作成後のどこで起きたかを特定します。SDK 0.2.0 はチェックポイントと計画フィンガープリントの検証後に実行を再開します。新しい学習には新しい出力ディレクトリが必要です。サーバーの状態が許せば、再学習せずに失敗した完了レポートを照合できます。

  • データセットのハッシュ、モデルのフィンガープリント、所有権のチェックを回避して再試行しないでください。
  • バッチサイズ、精度、予算を変更すると計画も変わります。新しい run をレビューして開始し、互換性のない復旧を強行しないでください。
  • 有効な出力は保持し、run が所有する一時ファイルだけを削除します。
学習と成果物の診断
フィールドまたはインターフェース型または結果既定値または終了コード動作と検証
out_of_memory runtime 必須 / 既定値なし モデルサイズ、精度、デバイスごとの batch size を確認します。互換性のある新しい計画をレビューし、再開した実行の設定を暗黙に変更しないでください。
dataset_integrity data 必須 / 既定値なし 想定バイト数、行数、SHA-256 を照合します。不一致があれば停止し、正しく実行が所有するデータセットを取得してください。
checkpoint_mismatch recovery 必須 / 既定値なし 固定した入力をすべて元に戻すか、新しい実行を開始してください。フィンガープリントが一致しないチェックポイントから再開してはいけません。
budget_exhausted budget 必須 / 既定値なし 直近の有効な状態を保持します。予算を増やすには、別途レビュー済みの計画が必要です。
no_progress quality 必須 / 既定値なし データ品質と不足しているスキルを確認し、サイクル予算内で停止してください。際限なく繰り返さないでください。
regression quality 必須 / 既定値なし 維持対象のベースラインスキルと未達基準を比較してください。有害な性能低下を平均値で見えなくしてはなりません。
report_failed service 必須 / 既定値なし 有効なローカル成果物を保持してください。再学習せずに、サービス状態を確認して許可される範囲でレポートを照合します。
export_invalid artifact 必須 / 既定値なし ベースモデルとトークナイザーの対応、ファイルパス、チェックサムを確認します。再読み込みに成功するまでは公開しないでください。
例 · bash 
# Recover an interrupted run without starting it twice.
fpai-training status --run ./german-project/runs/german-001
# paused + valid atomic checkpoint -> resume the same pinned plan.
fpai-training resume --run ./german-project/runs/german-001
# fingerprint mismatch -> restore matching data/config; NEVER force resume.
# budget change -> create a NEW run and reviewed plan, retaining prior reports.
# no valid checkpoint -> start a NEW output directory, not a fake resume.

未達の目標を正確に扱う

検証損失が下がっただけでは、求める能力が備わったとは言えません。ホールドアウトタスク、ベースライン、トピック別の性能、維持されたスキル、データ漏えいを確認してください。改善が停滞したときや性能低下が現れたときは停止します。同じ失敗設定で資源を使い続けず、新しいレビュー済み計画で目標またはデータを調整してください。

  • トピックの不足、誤ったラベル、重複したテスト項目、トークナイザーの不一致を確認します。
  • 不合格の基準と、使用した承認済み予算を記録します。
  • 受け入れに達しなかったモデルに成果物が残ることはありますが、受け入れ済みの本番モデルとして提示してはなりません。
例 · text 
SDK 0.2.0 QUALITY DIAGNOSTICS
1. Compare untouched baseline and final model on identical held-out tasks.
2. Examine each criterion and retained capability, not an average alone.
3. Reject data overlap and examples leaked to the teacher.
4. Check label quality, topic coverage, class balance and tokenizer compatibility.
5. Use remaining approved cycles only; stop for no_progress or regression.
6. Preserve unmet_criteria and the latest valid artifact after a failed target.
7. Revise data/objective/budget in a NEW reviewed plan before a new run.
Never report accepted merely because loss decreased or a script exited normally.