跳到主要内容
训练指南章节 全部文档

训练故障排查与错误恢复

排查访问、数据、GPU、检查点、报告、导出和质量问题，避免盲目重复高成本操作。

训练指南章节

所有语言版本中的命令和代码均保持英文。请将大写占位符替换为您账户和付费作业中的实际值；请勿将真实密钥粘贴到共享笔记本或日志中。

重试前先诊断

重新启动前先读取当前状态并保留有效工作。
  1. 定位 访问、数据、计算资源或输出
  2. 检查 状态与已脱敏的诊断信息
  3. 修正 解决实际故障
  4. 恢复 安全恢复或审核新的运行

区分访问错误和运行环境错误

检查 HTTP 状态码、本次运行拥有的作业或会话 ID、账户范围和付费访问期限。运行开始前，应检查 SDK 项目的兼容性和已审核计划。API key 不会提供 GPU 内存，也不会授权访问其他账户的资源。联系支持人员时，只分享已脱敏的诊断信息。

  • 记录 SDK 版本、运行环境、session/run 标识符、错误码和最后一次成功的操作。
  • 连接失败后不要重试所有 POST 请求；服务器可能已经接受了请求。
  • 诊断命令用于检查状态和定位问题，不会要求泄露凭据。
HTTP 错误
字段或接口类型或结果默认值或退出码行为与验证规则
401 HTTP 必填 / 无默认值 检查 API key 是否有效，但不要显示它；使用账户获准的凭据流程。
403 HTTP 必填 / 无默认值 检查 ai:training 范围、付费访问权限、所有权和资格；不要绕过访问控制。
404 HTTP 必填 / 无默认值 检查准确的自有 UUID 和端点；必须继续阻止访问其他账户的资源。
409 HTTP 必填 / 无默认值 再次写入前先读取当前会话状态。准备操作可能已经锁定 reference model。
422 HTTP 必填 / 无默认值 修正返回的字段级验证错误；不要发送价格或未经批准的配置。
429 HTTP 必填 / 无默认值 遵守速率限制；安全读取时等待规定的重试间隔，绝不要无限重试而造成持续限流。
5xx / timeout HTTP 必填 / 无默认值 重复写入前先读取当前状态。有上限的 GET 重试并不意味着可以重复准备或训练。
示例 · bash 
# Inspect package metadata, not credentials or private dataset contents.
python -m pip show fusionpointai-training
python -m pip check
# On NVIDIA hosts where nvidia-smi is installed:
nvidia-smi
# Keep the local report; never dump env, auth headers or provider responses.
# The documentation does not launch these commands for you.

恢复计算、数据与报告

先判断问题发生在优化前、训练过程中，还是有效制品生成之后。SDK 0.2.0 支持在检查点和计划指纹验证通过后恢复运行；新的训练运行必须使用新的输出目录。如果服务端状态允许，可以在不重新训练的情况下协调处理失败的完成报告。

  • 不要绕过数据集哈希、模型指纹或所有权检查来重试。
  • 更改批次大小、精度或预算都会改变计划；请审核后启动新 run，不要强行恢复不兼容的状态。
  • 保留有效输出，只清理本次 run 所拥有的临时文件。
训练与交付诊断
字段或接口类型或结果默认值或退出码行为与验证规则
out_of_memory runtime 必填 / 无默认值 检查模型大小、精度和每设备 batch size。审核新的兼容计划；不要静默更改已恢复运行的设置。
dataset_integrity data 必填 / 无默认值 对照预期字节数、行数和 SHA-256。若不匹配则停止，并获取正确且由本次运行拥有的数据集。
checkpoint_mismatch recovery 必填 / 无默认值 恢复完全相同的固定输入，或启动新运行。指纹不匹配时不得强行从检查点恢复。
budget_exhausted budget 必填 / 无默认值 保留最新的有效状态。提高预算需要单独审核新的计划。
no_progress quality 必填 / 无默认值 检查数据质量和缺失技能，然后在周期预算内停止；不要无限重复。
regression quality 必填 / 无默认值 比较仍需保留的基线技能和未通过标准。不要用平均值掩盖有害回归。
report_failed service 必填 / 无默认值 保留有效的本地制品。读取服务状态，并在允许的情况下协调报告问题，不要重新训练。
export_invalid artifact 必填 / 无默认值 检查基础模型和分词器的关联、文件路径及校验和；重新加载成功前不得发布。
示例 · bash 
# Recover an interrupted run without starting it twice.
fpai-training status --run ./german-project/runs/german-001
# paused + valid atomic checkpoint -> resume the same pinned plan.
fpai-training resume --run ./german-project/runs/german-001
# fingerprint mismatch -> restore matching data/config; NEVER force resume.
# budget change -> create a NEW run and reviewed plan, retaining prior reports.
# no valid checkpoint -> start a NEW output directory, not a fake resume.

如实看待未达成的目标

验证损失降低本身并不能证明模型具备所需能力。请检查留出任务、基线、各主题表现、保留的技能以及数据泄漏情况。改进停滞或出现回归时应停止。应通过新的审核计划调整目标或数据，而不是反复消耗资源运行同一套失败配置。

  • 检查主题覆盖不足、标签错误、测试项重复和分词器不匹配。
  • 记录未通过的标准以及已使用的获准预算。
  • 未通过验收的模型仍可能保留制品，但不得将其描述为已验收的生产模型。
示例 · text 
SDK 0.2.0 QUALITY DIAGNOSTICS
1. Compare untouched baseline and final model on identical held-out tasks.
2. Examine each criterion and retained capability, not an average alone.
3. Reject data overlap and examples leaked to the teacher.
4. Check label quality, topic coverage, class balance and tokenizer compatibility.
5. Use remaining approved cycles only; stop for no_progress or regression.
6. Preserve unmet_criteria and the latest valid artifact after a failed target.
7. Revise data/objective/budget in a NEW reviewed plan before a new run.
Never report accepted merely because loss decreased or a script exited normally.