हर भाषा में कमांड और कोड अंग्रेज़ी में ही रहेंगे। बड़े अक्षरों वाले प्लेसहोल्डर को अपने खाते और भुगतान किए गए कार्य के मानों से बदलें; साझा नोटबुक या लॉग में असली कुंजियाँ न डालें।
हानि से काम की स्वीकृति तक
- आधार स्तर बिना बदलाव वाले विद्यार्थी का प्रदर्शन
- प्रशिक्षित मॉडल समान मूल्यांकन परिस्थितियाँ
- काम के नतीजे गुणवत्ता, शुद्धता और त्रुटियाँ
- फ़ैसला स्वीकार करें या अधूरी ज़रूरतें बताएँ
आधार स्तर: बिना बदलाव वाले विद्यार्थी का प्रदर्शन. प्रशिक्षित मॉडल: समान मूल्यांकन परिस्थितियाँ. काम के नतीजे: गुणवत्ता, शुद्धता और त्रुटियाँ. फ़ैसला: स्वीकार करें या अधूरी ज़रूरतें बताएँ
आधार और अंतिम मानदंड मापें
TrainingProject बिना बदले विद्यार्थी मॉडल और अंतिम मॉडल का स्थानीय वैलिडेशन या फ़ाइनल टेस्ट डेटा पर मूल्यांकन करता है। हर रूब्रिक कसौटी में पंजीकृत नियत मेट्रिक और minimum_score की सीमा होती है। उपलब्ध मेट्रिक exact_match, macro_f1, text_similarity और chrf हैं; कस्टम स्कोरर को तय संस्करण के साथ पंजीकृत किया जा सकता है। आधार और अंतिम अलग रखे गए डेटा का मूल्यांकन स्थानीय रहता है।
- विवरण कसौटी समझाता है, लेकिन अपने-आप अर्थ का मूल्यांकन नहीं करता।
- हर कसौटी के अंक और बची क्षमताएँ देखें; केवल औसत पर निर्भर न रहें।
- रूब्रिक, डेटा फ़िंगरप्रिंट और आधार तथा अंतिम मूल्यांकन की रिपोर्ट साथ रखें।
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
session.get("status") == "completed"
and isinstance(runtime_report, dict)
and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
and server_report.get("delivery") == "runtime_local"
and server_report.get("verification") == "runtime_reported"
):
print("Server report matches the local artifact digest.")
else:
print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.जर्मन भाषा की क्षमता का मूल्यांकन
जर्मन उद्देश्य के दायरे में आने पर समझ, व्याकरण, लेखन, अनुवाद और तर्क का अलग-अलग मूल्यांकन करें। छिपे हुए कार्य, लोगों के लिए स्पष्ट मूल्यांकन-मानदंड और अर्थपूर्ण त्रुटि-उदाहरण इस्तेमाल करें। मौजूदा क्षमताएँ बनी हुई हैं या नहीं, यह भी मापें। शिक्षक द्वारा किया गया मूल्यांकन मददगार हो सकता है, लेकिन एक ही बनाए गए उदाहरणों को पाठ और अंतिम गुणवत्ता-प्रमाण दोनों न बनाएँ।
- वर्गीकरण: हर वर्ग के लिए प्रिसिजन, रिकॉल और भ्रम के पैटर्न।
- अनुवाद: अर्थ, शब्दावली, संख्याएँ, नाम और छूटी हुई बातें।
- लेखन: व्याकरण की शुद्धता, स्पष्टता, लहजा और कार्य पूरा होना।
सीमित सुधार चक्र चलाएँ
TrainingProject पाठ्यक्रम के विषयों का मूल्यांकन करता है, साझा करने की अनुमति होने पर स्वीकृत पाठ तैयार करता है और सीमित सुधार चक्र चलाता है। स्वीकृति, बजट समाप्त होना, प्रगति न होना, रद्द होना या क्षमता में गिरावट रुकने के कारण हैं। रिपोर्ट अधूरे उद्देश्य और मापे गए मानदंड दर्ज करती हैं; किसी काम में पास होना व्यापक मॉडल क्षमता का प्रमाण नहीं है।
- सुधार के दौरान अंतिम स्वीकृति डेटा को बिना बदलाव अलग रखें।
- दोहराई जा सकने वाली तुलना के लिए custom evaluator के संस्करण तय करें।
- विफलता को औसत में छिपाने के बजाय हर मानदंड और गिरावट देखें।