মূল content-এ যান
Training guide-এর অধ্যায় সব নথিপত্র

ব্যর্থতা, বাতিল ও পুনরুদ্ধার

Duplicate write, artifact হারানো বা অবিরাম retry ছাড়া ব্যর্থতা নির্ণয় করুন।

Training guide-এর অধ্যায়

সব ভাষাতেই command ও code ইংরেজিতে থাকবে। বড় হাতের অক্ষরে লেখা placeholder নিজের account ও paid job-এর মান দিয়ে বদলান; shared notebook বা log-এ আসল key দেবেন না।

নিজের চালানো কাজ পুনরুদ্ধার করুন

কনফিগারেশন, মডেল ও ডেটাসেটের ফিঙ্গারপ্রিন্ট একই থাকলেই আবার চালু করুন।
  1. চলমান কাজ ডেটার অবস্থান ও বাজেট অনুসরণ
  2. অ্যাটমিক চেকপয়েন্ট ওজন, অপ্টিমাইজার ও দৈব অবস্থার তথ্য
  3. বিঘ্ন সর্বশেষ বৈধ চেকপয়েন্ট রাখুন
  4. যাচাই ফিঙ্গারপ্রিন্ট ও খালি জায়গা পরীক্ষা
  5. আবার চালু একই কাজ আবার না করে চালিয়ে যান

Retry-এর আগে ব্যর্থতার কারণ পড়ুন

Authentication ব্যর্থতা, reference access-এর মেয়াদ শেষ, model অসামঞ্জস্য, device memory কম, dataset অবৈধ এবং criterion ব্যর্থ—প্রতিটির সমাধান আলাদা। TrainingClient শুধু যোগ্য GET অনুরোধ সীমিত সংখ্যায় retry করে। পরিবর্তনকারী request স্বয়ংক্রিয়ভাবে retry হয় না। Timeout হলে write আবার দেওয়ার আগে নিজের run বা API resource পরীক্ষা করুন।

  • 401/403: key scope, account access ও paid reference entitlement যাচাই করুন।
  • 404: resource authenticated account-এর কি না নিশ্চিত করুন।
  • 409/422: input বদলানোর আগে run state ও field-ভিত্তিক validation বিবরণ দেখুন।
উদাহরণ · python 
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
    state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
    print("Current state:", state["status"])
except IntegrityError:
    print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
    print("Training failed; inspect the local report before retrying.")
except APIError:
    print("Request failed; inspect access and session state before another write.")
except ValueError:
    print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.

নিজের run pause, resume বা cancel করুন

Project API ও CLI run-এর মালিকানাধীন worker নিয়ন্ত্রণ করে। Pause atomic checkpoint-এর অপেক্ষা করে; resume configuration, model, data, evaluator ও topology fingerprint যাচাই করে; cancel এই run থামায় এবং চূড়ান্ত অবস্থা তৈরি করে। Legacy TrainingClient.cancel service session state বাতিল করেই চলে; এটি project worker-এর নিয়ন্ত্রণের বিকল্প নয়।

  • Timeout-এর পর control আবার দেওয়ার আগে status দেখুন।
  • শুধু বৈধ পুনরুদ্ধারযোগ্য run resume করুন; অমিল checkpoint জোর করে চালাবেন না।
  • আংশিক output রাখুন, গৃহীত artifact বলে চিহ্নিত করবেন না।
উদাহরণ · python 
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.

Project run পুনরুদ্ধার করুন

TrainingProject নিজের run directory-তে native model বা adapter checkpoint ও project progress রাখে। Resume-এর আগে model, dataset, configuration, evaluator ও topology fingerprint যাচাই হয়। Checkpoint retention ও storage budget মালিকানাধীন run data সীমিত রাখে; অমিল checkpoint প্রত্যাখ্যান করা হয়।

  • কনফিগার করা retention-এ সর্বোচ্চ পাঁচটি recovery checkpoint থাকে।
  • Pause ও cancellation-এর অবস্থা ও প্রভাব আলাদা।
  • Run সক্রিয় থাকলে checkpoint file মুছবেন বা বদলাবেন না।
উদাহরণ · text 
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget

Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.