हर भाषा में कमांड और कोड अंग्रेज़ी में ही रहेंगे। बड़े अक्षरों वाले प्लेसहोल्डर को अपने खाते और भुगतान किए गए कार्य के मानों से बदलें; साझा नोटबुक या लॉग में असली कुंजियाँ न डालें।
अपने run से रिकवरी करें
- Run डेटा स्थिति और बजट दर्ज करें
- परमाणु checkpoint Weights, optimizer और random state
- रुकावट आखिरी मान्य checkpoint रखें
- जाँच फ़िंगरप्रिंट और उपलब्ध जगह देखें
- Resume काम दोहराए बिना जारी रखें
Run: डेटा स्थिति और बजट दर्ज करें. परमाणु checkpoint: Weights, optimizer और random state. रुकावट: आखिरी मान्य checkpoint रखें. जाँच: फ़िंगरप्रिंट और उपलब्ध जगह देखें. Resume: काम दोहराए बिना जारी रखें
दोबारा कोशिश से पहले विफलता पहचानें
पहुँच, डेटा, GPU, checkpoint, रिपोर्टिंग और export की समस्याओं के कारण अलग-अलग हो सकते हैं। प्रशिक्षण शुरू करने से पहले adapter अनुकूलता और समीक्षित प्लान देखें। कनेक्शन टूटने पर हर POST दोबारा न भेजें; सर्वर उसे स्वीकार कर चुका हो सकता है। फिर कोशिश करने से पहले run की स्थिति और रिपोर्ट देखें।
- पैकेज version, runtime, session/run ID, त्रुटि कोड और आखिरी सफल कार्रवाई दर्ज करें।
- Ownership checks, dataset hashes या model fingerprints को कभी न छोड़ें।
- मदद माँगते समय केवल गोपनीय जानकारी हटाई हुई जाँच-सूचना साझा करें।
import os
from fusionpointai_training import TrainingClient
from fusionpointai_training.errors import APIError, IntegrityError, TrainingError
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
try:
state = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
print("Current state:", state["status"])
except IntegrityError:
print("Integrity check failed; preserve the report and investigate.")
except TrainingError:
print("Training failed; inspect the local report before retrying.")
except APIError:
print("Request failed; inspect access and session state before another write.")
except ValueError:
print("Invalid local configuration; correct the input before retrying.")
# Never print the key or authorization headers.प्रोजेक्ट रन रोकें, जारी रखें या रद्द करें
Pause, resume और cancel कमांड एक स्वामित्व वाले run directory पर काम करते हैं। Pause परमाणु checkpoint और worker की पुष्टि का इंतज़ार करता है। Resume उसी मॉडल, डेटा, कॉन्फ़िगरेशन, evaluator और distributed topology की जाँच करता है। Cancel केवल उस run के workers रोकता है और अंतिम स्थिति दर्ज करता है; इससे service session अपने-आप रद्द नहीं होता।
- Paused run फिर जारी किया जा सकता है, पर पूरा नहीं हुआ है। Cancel किया run स्वीकृत deliverable नहीं है।
- चलते foreground run को नियंत्रित करने के लिए दूसरा terminal इस्तेमाल करें।
- Timeout के बाद दोबारा कार्रवाई से पहले status पढ़ें; lock files न मिटाएँ और दूसरे GPU jobs न रोकें।
# Continue with client/session. Cancels API state; not pause/resume.
cancelled = client.cancel(session["id"])
print(cancelled["status"])
# Stop the separate GPU process using your runtime's process controls.प्रोजेक्ट रन से सुरक्षित रिकवरी करें
TrainingProject मॉडल, ऑप्टिमाइज़र और रैंडम स्थिति के साथ परमाणु चेकपॉइंट तथा रन स्थिति सहेजता है। Resume से पहले कॉन्फ़िगरेशन, मॉडल, डेटा और वितरित व्यवस्था के फ़िंगरप्रिंट मेल खाने चाहिए। बदलाव होने पर असंगत चेकपॉइंट को जबरन इस्तेमाल न करें।
- Resume केवल उसी प्रोजेक्ट रन की मान्य रिकवरी स्थिति के साथ करें।
- Resume से पहले फ़िंगरप्रिंट और उपलब्ध जगह जाँचें।
- रद्द करना विराम या resume नहीं है।
Checkpoint contents and resume validation
model/adapters + optimizer + scheduler + random states
dataset version + sampler/data position + curriculum progress
model/config/evaluator fingerprints + distributed topology
atomic completion marker + integrity checks + storage budget
Keep at most 3 valid recovery checkpoints by default.
Refuse mismatched resumes before updating weights.