الانتقال إلى المحتوى الرئيسي
فصول دليل التدريب جميع الوثائق

الإخفاقات والإلغاء والاستعادة

شخّص الإخفاقات دون تكرار الكتابة أو فقدان الملفات الناتجة أو الدخول في حلقة محاولات لا تنتهي.

فصول دليل التدريب

تبقى الأوامر والشفرة بالإنجليزية في جميع اللغات. استبدل العناصر النائبة المكتوبة بالأحرف الكبيرة بقيم من حسابك والمهمة المدفوعة؛ ولا تضع مفاتيح حقيقية في دفاتر ملاحظات أو سجلات مشتركة.

استعد تشغيلًا تملكه

استأنف فقط عند تطابق بصمات الإعداد والنموذج ومجموعة البيانات.
  1. التشغيل سجّل موضع البيانات والميزانيات
  2. نقطة تحقق ذرّية الأوزان والمُحسِّن والحالة العشوائية
  3. الانقطاع احتفظ بآخر نقطة تحقق صالحة
  4. التحقق افحص البصمات والمساحة المتاحة
  5. الاستئناف تابع دون تكرار العمل

شخّص الإخفاق قبل إعادة المحاولة

عالج كلًا من إخفاقات الوصول والبيانات وGPU ونقطة التحقق والإبلاغ والتصدير حسب سببها. قبل التنفيذ المحلي، افحص توافق الموائم والخطة التي خضعت للمراجعة. لا تكرر كل طلب POST عند انقطاع الاتصال؛ فقد يكون الخادم قد قبله بالفعل. اقرأ حالة التشغيل والتقارير قبل المحاولة من جديد.

  • سجّل إصدار الحزمة وبيئة التشغيل ومعرّف الجلسة أو التشغيل ورمز الخطأ وآخر عملية ناجحة.
  • لا تتجاوز فحوص الملكية أو بصمات النموذج أو مجموعات البيانات مطلقًا.
  • شارك عند طلب الدعم تشخيصات منقحة تحذف المعلومات الحساسة فقط.
مثال · python 
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
    state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
    print("Current state:", state["status"])
except IntegrityError:
    print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
    print("Training failed; inspect the local report before retrying.")
except APIError:
    print("Request failed; inspect access and session state before another write.")
except ValueError:
    print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.

أوقف التشغيل أو استأنفه أو ألغِه

تستهدف أوامر pause وresume وcancel مجلد تشغيل واحدًا تملكه. ينتظر pause إنشاء نقطة تحقق ذرّية وتأكيد العامل. ويتحقق resume من النموذج والبيانات والإعداد والمقيّم والبنية الموزعة نفسها. أما cancel فيوقف عمال ذلك التشغيل وحدهم ويسجل إلغاءً نهائيًا؛ ولا يلغي جلسة الخدمة.

  • التشغيل المتوقف مؤقتًا قابل للاستعادة لكنه غير مكتمل. والتشغيل الملغى ليس مخرجًا مقبولًا.
  • استخدم طرفية ثانية للتحكم أثناء تشغيل العملية في الواجهة الأمامية.
  • بعد انتهاء المهلة، اقرأ الحالة قبل إعادة المحاولة. لا تحذف ملفات القفل ولا توقف مهام GPU أخرى.
مثال · python 
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.

استعد تشغيل المشروع بأمان

يحفظ TrainingProject نقاط تحقق ذرّية وحالة التشغيل، بما فيها النموذج والمُحسِّن والحالة العشوائية. قبل الاستئناف يجب أن تتطابق بصمات الإعداد والنموذج والبيانات وبنية التوزيع. لا تفرض استخدام نقطة تحقق غير متوافقة بعد تغيير أي منها.

  • استأنف فقط حالة استعادة صالحة لتشغيل المشروع نفسه.
  • تحقق من البصمات والمساحة المتاحة قبل الاستئناف.
  • الإلغاء ليس إيقافًا مؤقتًا ولا استئنافًا.
مثال · text 
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget

Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.