মূল content-এ যান
Training guide-এর অধ্যায় সব নথিপত্র

Training সমস্যা নির্ণয় ও ত্রুটি থেকে পুনরুদ্ধার

অকারণে ব্যয়বহুল কাজ পুনরায় না চালিয়ে access, data, GPU, checkpoint, report, export ও মানের সমস্যা সমাধান করুন।

সব ভাষাতেই command ও code ইংরেজিতে থাকবে। বড় হাতের অক্ষরে লেখা placeholder নিজের account ও paid job-এর মান দিয়ে বদলান; shared notebook বা log-এ আসল key দেবেন না।

আবার চেষ্টা করার আগে কারণ নির্ণয় করুন

আবার শুরুর আগে বর্তমান অবস্থা পড়ুন ও বৈধ কাজ সংরক্ষণ করুন।
  1. খুঁজুন Access, data, compute বা output
  2. পরীক্ষা State ও গোপন তথ্য-বর্জিত diagnostic
  3. সংশোধন প্রকৃত ব্যর্থতার কারণ দূর
  4. পুনরুদ্ধার নিরাপদ resume বা নতুন পর্যালোচিত run

খুঁজুন: Access, data, compute বা output. পরীক্ষা: State ও গোপন তথ্য-বর্জিত diagnostic. সংশোধন: প্রকৃত ব্যর্থতার কারণ দূর. পুনরুদ্ধার: নিরাপদ resume বা নতুন পর্যালোচিত run

Access ব্যর্থতা ও runtime ব্যর্থতা আলাদা করুন

HTTP status, নিজের job বা run ID, account scope এবং পরিশোধিত reference access পরীক্ষা করুন। স্থানীয় execution-এ শুরুর আগে adapter compatibility ও পর্যালোচিত plan দেখুন। Key GPU memory দেয় না বা অন্য account-এর resource ব্যবহারের অধিকার দেয় না। সহায়তা চাইলে শুধু গোপন তথ্য বাদ দেওয়া diagnostic দিন।

  • Package version, runtime, session/run identifier, error code এবং শেষ সফল operation নথিবদ্ধ করুন।
  • Connection failure-এর পর প্রতিটি POST আবার পাঠাবেন না; server হয়তো ইতিমধ্যে তা গ্রহণ করেছে।
  • Diagnostic command স্থানীয় metadata পরীক্ষা করে, credential প্রকাশ করে না।
HTTP ব্যর্থতা
ঘর বা ইন্টারফেসধরন বা ফলডিফল্ট বা exit codeআচরণ ও যাচাই
401 HTTP আবশ্যক / ডিফল্ট নেই Key না দেখিয়ে বৈধতা যাচাই করুন; account-এর অনুমোদিত credential process ব্যবহার করুন।
403 HTTP আবশ্যক / ডিফল্ট নেই ai:training scope, পরিশোধিত access, মালিকানা ও যোগ্যতা যাচাই করুন; access control এড়িয়ে যাবেন না।
404 HTTP আবশ্যক / ডিফল্ট নেই নিজস্ব সঠিক UUID ও endpoint দেখুন; অন্য account-এর resource অপ্রবেশযোগ্যই থাকতে হবে।
409 HTTP আবশ্যক / ডিফল্ট নেই আরেকটি write-এর আগে বর্তমান session state দেখুন। Preparation হয়তো reference lock করে ফেলেছে।
422 HTTP আবশ্যক / ডিফল্ট নেই ফেরত আসা field-ভিত্তিক validation error ঠিক করুন; price বা অননুমোদিত configuration পাঠাবেন না।
429 HTTP আবশ্যক / ডিফল্ট নেই Rate limit ও নিরাপদ read-এর retry delay মানুন; throttling-কে সীমাহীন retry-তে পরিণত করবেন না।
5xx / timeout HTTP আবশ্যক / ডিফল্ট নেই Write পুনরায় করার আগে বর্তমান অবস্থা পড়ুন। সীমিত GET retry preparation বা training নকল করে চালানোর অনুমতি নয়।
উদাহরণ · bash
# Inspect package metadata, not credentials or private dataset contents.
python -m pip show fusionpointai-training
python -m pip check
# On NVIDIA hosts where nvidia-smi is installed:
nvidia-smi
# Keep the local report; never dump env, auth headers or provider responses.
# The documentation does not launch these commands for you.

Compute, data ও reporting পুনরুদ্ধার করুন

সমস্যা optimization-এর আগে, training চলাকালে, নাকি বৈধ artifact তৈরির পরে হয়েছে তা নির্ধারণ করুন। TrainingProject যাচাইকৃত project checkpoint থেকে resume করে; legacy session workflow আলাদা এবং project recovery state আমদানি করে না। Write আবার চেষ্টা বা নতুন output directory তৈরির আগে run snapshot ও report পড়ুন।

  • Dataset hash, model fingerprint বা মালিকানা যাচাই কখনো এড়িয়ে যাবেন না।
  • Batch size, precision বা budget বদলালে plan বদলায়; অসামঞ্জস্যপূর্ণ recovery জোর করে না চালিয়ে নতুন run ব্যবহার করুন।
  • বৈধ ও দরকারি output রাখুন এবং শুধু run-এর মালিকানাধীন temporary file সরান।
প্রশিক্ষণ ও সরবরাহ-সংক্রান্ত নির্ণয়
ঘর বা ইন্টারফেসধরন বা ফলডিফল্ট বা exit codeআচরণ ও যাচাই
out_of_memory runtime আবশ্যক / ডিফল্ট নেই Model size, precision ও প্রতি-device batch পরীক্ষা করুন। নতুন সামঞ্জস্যপূর্ণ plan পর্যালোচনা করুন; resume করা run নীরবে বদলাবেন না।
dataset_integrity data আবশ্যক / ডিফল্ট নেই প্রত্যাশিত byte, row ও SHA-256 তুলনা করুন। অমিল হলে থামুন এবং সঠিক মালিকানাধীন dataset নিন।
checkpoint_mismatch recovery আবশ্যক / ডিফল্ট নেই ঠিক pinned input পুনরুদ্ধার করুন অথবা নতুন project run শুরু করুন। অমিল checkpoint বা session checkpoint কখনো জোর করে import করবেন না।
budget_exhausted budget আবশ্যক / ডিফল্ট নেই সর্বশেষ বৈধ state রাখুন। বড় budget-এর জন্য আলাদা পর্যালোচিত plan প্রয়োজন।
no_progress quality আবশ্যক / ডিফল্ট নেই Data quality ও অনুপস্থিত দক্ষতা পরীক্ষা করে cycle budget-এর মধ্যে থামুন; অনির্দিষ্টকাল পুনরাবৃত্তি করবেন না।
regression quality আবশ্যক / ডিফল্ট নেই Baseline-এ বজায় থাকা দক্ষতা ও ব্যর্থ criterion তুলনা করুন। ক্ষতিকর regression গড় করে আড়াল করবেন না।
report_failed service আবশ্যক / ডিফল্ট নেই বৈধ স্থানীয় artifact রাখুন। Training আবার না চালিয়ে, অনুমোদিত হলে service state দেখুন ও reporting মেলান।
export_invalid artifact আবশ্যক / ডিফল্ট নেই Base model/tokenizer সংযোগ, file path ও checksum পরীক্ষা করুন; reload সফল না হওয়া পর্যন্ত প্রকাশ করবেন না।
উদাহরণ · bash
# Recover an interrupted run without starting it twice.
fpai-training status --run ./german-project/runs/german-001
# paused + valid atomic checkpoint -> resume the same pinned plan.
fpai-training resume --run ./german-project/runs/german-001
# fingerprint mismatch -> restore matching data/config; NEVER force resume.
# budget change -> create a NEW run and reviewed plan, retaining prior reports.
# no valid checkpoint -> start a NEW output directory, not a fake resume.

অপূর্ণ লক্ষ্য সৎভাবে বিবেচনা করুন

Validation loss কমলেই চাওয়া সক্ষমতা প্রমাণিত হয় না। Held-out কাজ, baseline, বিষয়ভিত্তিক ফল, বজায় থাকা দক্ষতা এবং data leakage পরীক্ষা করুন। উন্নতি থামলে বা regression এলে থামুন। একই ব্যর্থ setup বারবার চালিয়ে resource খরচ না করে নতুন পর্যালোচিত plan-এ লক্ষ্য বা data বদলান।

  • বিষয়ের অসম্পূর্ণ অন্তর্ভুক্তি, ভুল label, নকল test item এবং tokenizer-এর অমিল খুঁজুন।
  • কোন criterion ব্যর্থ হয়েছে এবং অনুমোদিত budget-এর কতটা ব্যবহৃত হয়েছে নথিবদ্ধ করুন।
  • গ্রহণযোগ্যতা না-পাওয়া model-এর artifact রাখা যেতে পারে, কিন্তু একে গৃহীত production model হিসেবে উপস্থাপন করা যাবে না।
উদাহরণ · text
SDK 0.2.0 QUALITY DIAGNOSTICS
1. Compare untouched baseline and final model on identical held-out tasks.
2. Examine each criterion and retained capability, not an average alone.
3. Reject data overlap and examples leaked to the teacher.
4. Check label quality, topic coverage, class balance and tokenizer compatibility.
5. Use remaining approved cycles only; stop for no_progress or regression.
6. Preserve unmet_criteria and the latest valid artifact after a failed target.
7. Revise data/objective/budget in a NEW reviewed plan before a new run.
Never report accepted merely because loss decreased or a script exited normally.