跳到主要内容
训练指南章节 全部文档

故障、取消与恢复

排查问题时避免重复写入、制品丢失或无限重试。

训练指南章节

所有语言版本中的命令和代码均保持英文。请将大写占位符替换为您账户和付费作业中的实际值；请勿将真实密钥粘贴到共享笔记本或日志中。

恢复由运行拥有的任务

只有配置、模型和数据集指纹仍匹配时才能续训。
  1. 运行 跟踪数据位置和预算
  2. 原子检查点 权重、优化器和随机状态
  3. 中断 保留最后一个有效检查点
  4. 验证 检查指纹和可用空间
  5. 续训 继续运行且不重复工作

重试前先查看失败原因

认证失败、参考访问过期、模型不兼容、设备内存不足、数据集无效和评估未通过，需要分别处理。TrainingClient 只会在限定次数内重试符合条件的 GET 请求，不会自动重试会更改状态的请求。发生超时后，重复写入前先检查运行拥有的作业或 API 资源。

  • 401/403：检查密钥范围、账户访问权限和付费参考模型使用权。
  • 404：确认资源属于已认证账户。
  • 409/422：检查运行状态和字段验证详情，再决定是否修改输入。
示例 · python 
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
    state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
    print("Current state:", state["status"])
except IntegrityError:
    print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
    print("Training failed; inspect the local report before retrying.")
except APIError:
    print("Request failed; inspect access and session state before another write.")
except ValueError:
    print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.

暂停、恢复或取消项目运行

项目 API 和 CLI 控制由该运行拥有的 worker。pause 会等待原子检查点；resume 会验证配置、模型、数据、评估器和拓扑指纹；cancel 会停止本次运行且状态不可恢复。旧版 TrainingClient.cancel 仍用于取消服务会话状态，不会替代项目 worker 控制。

  • 控制请求超时后，重复操作前先检查状态。
  • 只恢复有效且可恢复的运行；不要强行载入指纹不匹配的检查点。
  • 保留部分输出，不要将其标记为已验收制品。
示例 · python 
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.

恢复项目运行

TrainingProject 会在运行拥有的目录内保存原生模型或适配器检查点及项目进度。恢复前会验证模型、数据集、配置、评估器和拓扑指纹。检查点保留数量和存储预算限制运行数据；指纹不匹配时会拒绝恢复。

  • 配置的保留数量最多为五个恢复检查点。
  • 暂停和取消具有不同的状态和效果。
  • 运行期间不要删除或修改检查点文件。
示例 · text 
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget

Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.