সব ভাষাতেই command ও code ইংরেজিতে থাকবে। বড় হাতের অক্ষরে লেখা placeholder নিজের account ও paid job-এর মান দিয়ে বদলান; shared notebook বা log-এ আসল key দেবেন না।
লস থেকে কাজের গ্রহণযোগ্যতা
- প্রাথমিক মানদণ্ড অপরিবর্তিত শিক্ষার্থী মডেলের কর্মদক্ষতা
- প্রশিক্ষিত মডেল একই মূল্যায়নের শর্ত
- কাজের ফল মান, সঠিকতা ও ভুল
- সিদ্ধান্ত গ্রহণ বা অপূর্ণ শর্ত জানান
প্রাথমিক মানদণ্ড: অপরিবর্তিত শিক্ষার্থী মডেলের কর্মদক্ষতা. প্রশিক্ষিত মডেল: একই মূল্যায়নের শর্ত. কাজের ফল: মান, সঠিকতা ও ভুল. সিদ্ধান্ত: গ্রহণ বা অপূর্ণ শর্ত জানান
Baseline ও final criterion মাপুন
TrainingProject স্থানীয় validation বা final-test row-তে অপরিবর্তিত student ও final model মূল্যায়ন করে। প্রতিটি rubric criterion-এ নিবন্ধিত deterministic metric এবং minimum_score threshold থাকে। Built-in metric হলো exact_match, macro_f1, text_similarity ও chrf; স্পষ্ট version দিয়ে custom scorer নিবন্ধন করা যায়। Baseline ও final held-out evaluation স্থানীয় থাকে।
- Description কোনো criterion ব্যাখ্যা করে, নিজে semantic grading নয়।
- শুধু গড় নয়, প্রতিটি criterion-এর score এবং বজায় থাকা সক্ষমতা পর্যালোচনা করুন।
- Rubric, data fingerprint এবং baseline/final evaluation report একসঙ্গে রাখুন।
# Continue with a TrainingProject whose run has completed.
result = project.evaluate(split="test")
for criterion in result["criteria"]:
print(criterion["id"], criterion["score"], criterion["accepted"])
print("Accepted:", result["accepted"], "Report:", result["report_path"])
# Scores measure the registered criteria; they do not guarantee broader capability.import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
server_report = session.get("report")
runtime_report = server_report.get("runtime") if isinstance(server_report, dict) else None
if (
session.get("status") == "completed"
and isinstance(runtime_report, dict)
and runtime_report.get("artifact_sha256") == os.environ["LOCAL_ARTIFACT_SHA256"]
and server_report.get("delivery") == "runtime_local"
and server_report.get("verification") == "runtime_reported"
):
print("Server report matches the local artifact digest.")
else:
print("Completion is not confirmed for this local artifact.")
# Reconcile by reading state; do not repeat training or invent a result.জার্মান ভাষার সক্ষমতা মূল্যায়ন
জার্মান লক্ষ্য থাকলে পরিসরের মধ্যে comprehension, grammar, writing, translation ও reasoning আলাদাভাবে মাপুন। গোপন কাজ, পাঠযোগ্য rubric এবং অর্থবহ ভুলের উদাহরণ ব্যবহার করুন। বিদ্যমান সক্ষমতাও বজায় আছে কি না মাপুন। Teacher grading মূল্যায়নে সহায়তা করতে পারে, তবে একই তৈরি উদাহরণকে lesson ও গুণমানের চূড়ান্ত প্রমাণ—দুইভাবেই ব্যবহার করবেন না।
- Classification: প্রতি শ্রেণির precision, recall ও confusion pattern।
- Translation: অর্থ, পরিভাষা, সংখ্যা, নাম ও বাদ পড়া বিষয়।
- Writing: ব্যাকরণের শুদ্ধতা, স্পষ্টতা, ভঙ্গি ও কাজ সম্পন্ন করা।
সীমিত চক্রে উন্নতি করুন
TrainingProject curriculum topic মূল্যায়ন করে, sharing অনুমতি দিলে অনুমোদিত lesson প্রস্তুত করে এবং সীমাবদ্ধ improvement cycle চালায়। গ্রহণযোগ্যতা, budget শেষ, অগ্রগতি না থাকা, বাতিল বা regression-এ থামার শর্ত আছে। Report-এ অপূর্ণ লক্ষ্য ও মাপা criterion থাকে; একটি কাজ পাস করলেই মডেলের বৃহত্তর সক্ষমতা সনদ হয় না।
- উন্নতির পুরো সময় final acceptance data অপরিবর্তিত রাখুন।
- পুনরুৎপাদনযোগ্য তুলনায় custom evaluator version pin করুন।
- ব্যর্থতা গড় করে আড়াল না করে প্রতিটি criterion ও regression দেখুন।