بازدان بۆ ناوەڕۆکی سەرەکی
بەشەکانی ڕێنمایی ڕاهێنان هەموو بەڵگەنامەکان

شکست، هەڵوەشاندنەوە و گەڕاندنەوە

شکست چارەسەر بکە بێ نووسینی دووبارە، لەدەستدانی بەرهەم یان هەوڵی دووبارەی بێ‌کۆتایی.

بەشەکانی ڕێنمایی ڕاهێنان

فەرمان و کۆد لە هەموو زمانێکدا بە ئینگلیزی دەمێننەوە. جێگرەوە گەورەنووسەکان بە بەهای هەژمار و کاری پارەدراوی خۆت بگۆڕە؛ کلیلی ڕاستەقینە لە نۆتبووکی هاوبەش یان تۆمارەکاندا مەنووسە.

ڕاکردنی خاوەنداریکراو بگەڕێنەوە

تەنها کاتێک resume بکە کە fingerprintی ڕێکخستن، مۆدێل و کۆمەڵەداتا هاوتا بێت.
  1. ڕاکردن شوێنی داتا و بودجە چاودێری بکە
  2. Checkpointی ئەتۆمیک کێش، optimizer و دۆخی randomness
  3. پچڕان دواترین checkpointی دروست بپارێزە
  4. پشتڕاستکردنەوە Fingerprint و شوێنی بەردەست بپشکنە
  5. Resume بێ دووبارەکردنەوەی کار بەردەوام بە

پێش هەوڵی دووبارە شکستەکە بخوێنەوە

شکستی پشتڕاستکردنەوەی ناسنامە، بەسەرچوونی دەستگەیشتنی سەرچاوە، مۆدێلی ناگونجاو، کەمی بیرگەی ئامێر، داتای نادروست و پێوەری تێپەڕنەکردوو چارەسەری جیاوازیان دەوێت. TrainingClient تەنها داواکاریی GETی گونجاو تا ژمارەیەکی سنووردار دووبارە دەکاتەوە. داواکاریی گۆڕانکار خۆکارانە دووبارە ناکرێتەوە. لە کاتی timeoutدا، پێش دووبارە نووسین ڕاکردن یان سەرچاوەی APIی خاوەنداریکراو بپشکنە.

  • 401/403: مەودای کلیل، دەستگەیشتنی هەژمار و مۆڵەتی سەرچاوەی پارەدراو پشتڕاست بکەرەوە.
  • 404: دڵنیابە سەرچاوەکە هی هەژماری پشتڕاستکراوە.
  • 409/422: پێش گۆڕینی تێخستن دۆخی ڕاکردن و وردەکاریی پشتڕاستکردنەوەی خانە بپشکنە.
نموونە · python 
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
    state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
    print("Current state:", state["status"])
except IntegrityError:
    print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
    print("Training failed; inspect the local report before retrying.")
except APIError:
    print("Request failed; inspect access and session state before another write.")
except ValueError:
    print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.

ڕاکردنی خاوەنداریکراو بوەستێنە، بەردەوامی پێبدە یان هەڵیوەشێنەوە

API و CLIی پڕۆژە تەنها کارکەرە خاوەنداریکراوەکانی ڕاکردن کۆنترۆڵ دەکەن. Pause چاوەڕێی checkpointێکی ئەتۆمیک دەکات؛ resume fingerprintی ڕێکخستن، مۆدێل، داتا، هەڵسەنگێنەر و تۆپۆلۆژی پشتڕاست دەکاتەوە؛ cancel ئەم ڕاکردنە دەوەستێنێت و کۆتایییە. شێوازی کۆنی TrainingClient.cancel هێشتا دۆخی دانیشتنی خزمەتگوزاری هەڵدەوەشێنێتەوە و جێگای کۆنترۆڵی کارکەری پڕۆژە ناگرێتەوە.

  • دوای timeout پێش دووبارەکردنەوەی کۆنترۆڵ، دۆخ بخوێنەوە.
  • تەنها ڕاکردنی گەڕاندنەوەی دروست resume بکە؛ checkpointی ناهاوتا بە زۆر مەخە.
  • دەرچوونی بەشەکی بپارێزە و بەرهەمی پەسەندکراو ناوی لێ مەنێ.
نموونە · python 
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.

ڕاکردنی پڕۆژە بگەڕێنەوە

TrainingProject checkpointی مۆدێلی بنەڕەتی یان ئادا‌پتەر و پێشکەوتنی پڕۆژە لە بوخچەی ڕاکردنی خاوەنداریکراودا هەڵدەگرێت. پێش بەردەوامبوون resume fingerprintی مۆدێل، کۆمەڵەداتا، ڕێکخستن، هەڵسەنگێنەر و تۆپۆلۆژی دەپشکنێت. پاراستنی checkpoint و بودجەی هەڵگرتن داتای ڕاکردنی خاوەنداریکراو سنووردار دەکەن؛ checkpointی ناهاوتا ڕەت دەکرێتەوە.

  • پاراستنی ڕێکخراو زۆرترینەوە پێنج checkpointی گەڕاندنەوە هەڵدەگرێت.
  • دۆخ و کاریگەریی pause و cancel جیاوازن.
  • لە کاتی چالاکی ڕاکردندا پەڕگەی checkpoint مەسڕەوە و دەستکاری مەکە.
نموونە · text 
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget

Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.