په ټولو ژبو کې امرونه او کوډ په انګلیسي پاتې کېږي. غټتوري ځاینښې د خپل حساب او پیسې ورکړل شوې دندې له ارزښتونو سره بدلې کړئ؛ ریښتینې کیلي په شریکو notebook-ونو یا لاګونو کې مه نښلوئ.
له تنظیم څخه تر تکرار وړ اجرا
- تشریح ماډل، ښوونکی او موخه
- محدودول معلومات، محرمیت او بودجې
- تایید د adapter او اجرا چاپېریال سازګاري
- پلان تثبیتول حل شوي تنظیمات او fingerprint-ونه
- اجرا یوازې بیاکتل شوې پروژه
تشریح: ماډل، ښوونکی او موخه. محدودول: معلومات، محرمیت او بودجې. تایید: د adapter او اجرا چاپېریال سازګاري. پلان تثبیتول: حل شوي تنظیمات او fingerprint-ونه. اجرا: یوازې بیاکتل شوې پروژه
پروژه تعریف او معلومات یې خوندي کړئ
دا د schema 1.0 د پروژې قرارداد دی. د Automatic بېلګه د training.json په نوم خوندي کړئ. مسیرونه د پروژې د ریښې دننه حل کړئ، شامل reference model ID وټاکئ او API key د پروسې په چاپېریال کې وساتئ. تنظیم یو پیسې ورکړل شوی د ښوونکي مرجع او په خپلواکه توګه د روزلو وړ زدهکوونکی ټاکي؛ د ښوونکي وزنونه هېڅکله نه ښکته کوي.
- ناپېژندل شوې کیلي ردېږي. د ماډل، معلوماتو، rubric او محصول مسیرونه باید د پروژې دننه حل شي.
- د ښوونکي شریکول یوازې منل شوې روزنیزې سرچینې رانغاړي. د اعتبارسنجونې او وروستۍ ازموینې توکي محلي پاتې کېږي.
- TrainingClient د پخوانیو پیسې ورکړل شوو دندو او ناستو لپاره لا هم شته.
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
schema_version |
string |
"1.0" |
1.0 کټ مټ وکاروئ. نور schema نسخې تر څرګند ملاتړ پورې ردېږي. |
mode |
enum |
اړین / تلواله نه لري | اړین: automatic یا advanced. Automatic سازګار تلواله ارزښتونه ټاکي؛ Advanced څرګند کنټرولونه وړاندې کوي. |
objective |
string |
اړین / تلواله نه لري | اړین دندهپېژندنه، 10–4000 کرکټرونه. مخاطب، وړتیاوې او تمه شوې پایله وښایئ. |
model.path |
string |
اړین / تلواله نه لري | د پروژې دننه د ماډل اړینه محلي ډایرکټري، یا repository پېژند چې له نهبدلېدونکي revision سره وي. د ښوونکي استنتاج پایټکی نه دی. |
model.adapter |
string |
اړین / تلواله نه لري | د adapter اړین ثبت شوی ID. transformers-causal-lm د Transformers causal-language-model adapter ټاکي. |
model.revision |
string | null |
null |
محلي ماډلونه fingerprint کېږي. د repository پېژندونه نهبدلېدونکی 40 یا 64 کرکټر revision غواړي. |
teacher.provider |
string |
اړین / تلواله نه لري | د خپل فعال پیسې ورکړل شوي پلان اړین چمتوکوونکی پېژند. د ماډل مالکیت نه لېږدوي. |
teacher.reference_model_id |
integer |
اړین / تلواله نه لري | د همدې چمتوکوونکي په پلان کې له شاملو ماډلونو څخه اړین مثبت integer؛ ځاینښې باید بدلې شي. |
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
data.sources |
string[] |
[] |
محلي JSONL روزنیزو سرچینو مسیرونه چې text ډګر لري. د ښوونکي درسونه د approved_only شریکولو له مخې ورزیاتېدای شي. |
data.teacher_sharing |
enum |
"approved_only" |
approved_only بیاکتل شوي روزنیز مواد اجازه کوي؛ none د پېرودونکي د منځپانګې ښوونکي ته لېږل منع کوي. د ارزونې پټ معلومات تل جلا دي. |
data.validation_path |
string | null |
null |
اختیاري خپلواک اعتبارسنجونې JSONL. که نه وي، بیاکتل شوی پلان له روزنې مخکې deterministically وېش ټاکي. |
data.test_path |
string |
اړین / تلواله نه لري | اړین خپلواک وروستۍ ازموینې فایل؛ هېڅکله د ښوونکي چمتو کولو یا اصلاح لپاره نه کارېږي. |
data.deduplicate |
boolean |
true |
د وېشونو ترمنځ تکراري او سره پوښل شوې بېلګې لرې کړئ؛ د ایستلو شمېر راپور کړئ، بې له دې چې شخصي متن ښکاره شي. |
data.seed |
integer |
42 |
د deterministic وېش او د بیا تولید وړ پیل لپاره نامنفي integer، که backend یې ملاتړ کوي. |
{
"schema_version": "1.0",
"mode": "automatic",
"objective": "Classify support messages as billing, account_access or technical_issue.",
"model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
"teacher": {"provider": "openai", "reference_model_id": 123},
"data": {
"sources": ["./data/train.jsonl"], "teacher_sharing": "none",
"validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl",
"deduplicate": true, "seed": 42
},
"runtime": {"target": "customer_datacenter", "devices": "auto"},
"training": {"method": "auto"},
"curriculum": {"topics": ["intent", "ambiguous_requests", "class_balance"], "max_improvement_cycles": 3, "stop_on_regression": true},
"budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
"checkpoints": {"keep_last": 3},
"evaluation": {"rubric": "./rubric.json", "baseline_required": true},
"output": {"directory": "./runs/german-001", "format": "safetensors"}
}
Automatic یا Advanced روزنه وټاکئ
Automatic حالت سازګار تنظیمات ټاکي او په پلان کې یې ثبتوي. Advanced حالت څرګند روزنیز تنظیمات مني او یوازې له سازګارې معمارۍ، طریقې، precision او هارډوېیر سره. تلواله ارزښتونه د ټولو لپاره د حافظې یا فعالیت ضمانت نه دي. ناسم ترکیب د وزنونو تر بدلون مخکې د سازګارۍ په کتنه کې ناکامېږي.
- د روزنې طریقې SFT، LoRA او QLoRA دي؛ Automatic حالت د auto طریقه هم ټاکلای شي.
- په وېشل شوي DDP کې منل شوی launcher د node rank او rendezvous تنظیمات برابروي؛ څو-node اجرا څرګند باوري torchrun چاپېریال غواړي.
- د ماډل معماري، tokenizer او د context محدودیتونه پر ځای دي. Adapter د ماډل د ټولو کورنیو ملاتړ نه کوي.
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
runtime.target |
enum |
اړین / تلواله نه لري | اړین: fusionpointai_hosting، customer_datacenter یا colab. موجود اجرا چاپېریال ټاکي؛ هارډوېیر نه اخلي. |
runtime.devices |
"auto" | integer[] |
"auto" |
auto سازګار مجاز وسایل ټاکي؛ څرګند لېست ځانګړي، نامنفي او د لیدو وړ GPU index-ونه لري. |
runtime.distributed.backend |
enum |
"none" |
د یوې پروسې لپاره none، یا د ملاتړ شوي adapter او منل شوي څو-worker launcher سره ddp. |
runtime.distributed.nodes |
integer |
1 |
مثبت integer. تر یوه ډېر DDP، هوکړه شوي node لاسرسي، rank-ونو او خوندي rendezvous ته اړتیا لري؛ دا ارزښت ظرفیت نه برابروي. |
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
training.method |
enum |
"auto" |
له auto، SFT، LoRA یا QLoRA څخه یو. Automatic حالت auto حل کوي؛ Advanced څرګنده ملاتړ شوې طریقه کاروي. |
training.epochs |
number | "auto" |
"auto" |
مثبت محدود شمېر یا یوازې په Automatic کې auto؛ اغېزمن ګامونه د منل شوي وخت او سرچینو له مخې هم محدودېږي. |
training.learning_rate |
number | "auto" |
"auto" |
له 1 څخه کم مثبت محدود شمېر یا یوازې په Automatic کې auto. د adapter او سوداګریزې تګلارې محدودیتونه ښايي لا تنګ وي. |
training.batch_size |
integer | "auto" |
"auto" |
د هرې وسیلې مثبت integer یا یوازې په Automatic کې auto؛ د حافظې برابرښت تر اجرا مخکې ارزول کېږي. |
training.gradient_accumulation_steps |
integer | "auto" |
"auto" |
مثبت integer یا یوازې په Automatic کې auto. اغېزمن batch size د worker شمېر او accumulation له مخې دی. |
training.max_sequence_length |
integer | "auto" |
"auto" |
د tokenizer او ماډل په حدودو کې مثبت integer یا یوازې په Automatic کې auto؛ د ماډل context په پټه مه غځوئ. |
training.precision |
enum |
"auto" |
د هارډوېیر او backend له ملاتړ سره سم auto، fp32، fp16 یا bf16؛ په Advanced کې څرګند ټاکل کېږي. |
training.lora.rank |
integer |
16 |
مثبت adapter rank. یوازې د LoRA/QLoRA لپاره له وړ target module-ونو سره کارېږي. |
training.lora.alpha |
number |
32 |
د adapter مثبت محدود scaling ارزښت. یوازې د LoRA/QLoRA لپاره. |
training.lora.dropout |
number |
0.05 |
له 0 شامل څخه تر 1 کم محدود ارزښت. یوازې د LoRA/QLoRA لپاره. |
training.lora.target_modules |
"auto" | string[] |
"auto" |
auto ملاتړ شوي module نومونه پلان ته حل کوي؛ یا د وړ نومونو ناتش لېست ورکړئ. |
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
curriculum.topics |
string[] |
[] |
په ترتیب د موضوع نومونه. تش لېست Automatic ته د مخکینیو شرطونو وړاندیز پرېږدي؛ Advanced څرګند بیاکتل شوی ترتیب غواړي. |
curriculum.max_improvement_cycles |
integer |
3 |
مثبت integer، تر 10 پورې. د بودجې، د پرمختګ نشتوالي یا شاتګ پر مهال تر دې مخکې ودرېږئ. |
curriculum.stop_on_regression |
boolean |
true |
true په rubric کې د شاتګ پر مهال اصلاح دروي. که false وي هم، شاتګ وروستۍ منل ناکاموي. |
{
"schema_version": "1.0",
"mode": "advanced",
"model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
"teacher": {"provider": "openai", "reference_model_id": 123},
"objective": "Classify support messages as billing, account_access or technical_issue.",
"data": {"sources": ["./data/train.jsonl"], "teacher_sharing": "none", "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl"},
"runtime": {"target": "customer_datacenter", "devices": [0, 1], "distributed": {"backend": "ddp", "nodes": 1}},
"training": {
"method": "LoRA",
"epochs": 3,
"learning_rate": 0.0002,
"batch_size": 1,
"gradient_accumulation_steps": 16,
"max_sequence_length": 2048,
"precision": "bf16",
"lora": {"rank": 16, "alpha": 32, "dropout": 0.05}
},
"curriculum": {
"topics": ["intent", "ambiguous_requests", "class_balance"],
"max_improvement_cycles": 3,
"stop_on_regression": true
},
"checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
"budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
"evaluation": {"rubric": "./rubric.json", "baseline_required": true},
"output": {"directory": "./runs/german-advanced-001", "format": "safetensors"}
}
محدودې بودجې او د اندازه کولو وړ منل وټاکئ
هره پروژه د وخت، د ښوونکي د غوښتنو او زېرمه څرګندې بودجې لري. د لومړۍ ختمې شوې بودجې، د بشپړتیا د ناکامې کتنې، شاتګ یا د پرمختګ د نشتوالي پر مهال ودرېږئ. د بېرته ترلاسه کولو سم حالت وساتئ او ناپوره معیارونه تشریح کړئ. Rubric خپلواکې د منلو دندې تعریفوي؛ د بېلګې نمره لاسته راوړنه نه ګرځوي.
- د rubric بېلګه د 0–1 عادي شوې کچه او جلا اړین معیارونه کاروي. ټول اړین معیارونه باید بریالي شي.
- د معلوماتو، ماډل، ارزونې، جوړښت یا بودجې بدلون نوې بیاکتل شوې طرحه غواړي؛ ناسم resume په زور مه چلوئ.
- صادرونه تایید شوي ماډل یا adapter فایلونه، tokenizer او manifest-ونه لري، نه اعتبارلیکونه، نامربوط cache یا ناتایید شوی ماډل کوډ.
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
budgets.max_training_minutes |
number |
اړین / تلواله نه لري | د اجرا اړینه مثبته محدوده دقیقهيي بودجه، د اجرا تر پیلېدو وروسته د چمتو کولو او ارزونې دیوالي وخت په ګډون. |
budgets.max_teacher_requests |
integer |
اړین / تلواله نه لري | اړین مثبت integer؛ چمتو کول، بیاکتنه او بیا هڅې وشمېرئ. تر حد مخکې په fail-closed ډول ودرېږئ. |
budgets.max_storage_gib |
number |
اړین / تلواله نه لري | د خپل ملکیت زېرمې اړینه مثبته محدوده بودجه په GiB کې، معلومات، checkpoint او محصولات رانغاړي؛ نامربوط فایلونه مه ړنګوئ. |
checkpoints.every_steps |
integer |
100 |
د checkpoint د واټن مثبت integer ګامونه. بریالي pause کې سم atomic checkpoint هم خوندي کړئ. |
checkpoints.keep_last |
integer |
3 |
له 1 تر 5 پورې integer. یوازې تر نوې نسخې تر تایید وروسته زاړه، د اجرا خپل checkpoint-ونه لرې کړئ. |
checkpoints.resume_validation |
enum |
"strict" |
یوازې strict. د ماډل، معلوماتو، تنظیم، evaluator یا وېشل شوي جوړښت بدل fingerprint رد کړئ. |
evaluation.rubric |
string |
اړین / تلواله نه لري | د تثبیت شوو evaluator-ونو او د اندازه کولو وړ اړینو معیارونو لرونکي سم rubric اړین مسیر. |
evaluation.baseline_required |
boolean |
true |
د دې قرارداد لپاره یوازې true. د وزنونو تر بدلولو مخکې لاسنهوهل شوی بنسټیز حالت وارزوئ. |
output.directory |
string |
اړین / تلواله نه لري | نوې د اجرا اړوند ډایرکټري اړینه ده. شته اجرا کتلی یا بیا پیلولای شئ، خو run یې هېڅکله نه شي لیکلای. |
output.format |
enum |
"safetensors" |
یوازې د ملاتړ په صورت کې safetensors یا adapters. Adapter صادرونه تثبیت شوي بنسټیز ماډل او tokenizer غواړي. |
| ډګر یا انترفېس | ډول یا پایله | تلواله یا د وتلو کوډ | چلند او تایید |
|---|---|---|---|
schema_version |
string |
"1.0" |
د rubric schema 1.0؛ د بسته له خپرونې نسخې جلا. |
name |
string |
اړین / تلواله نه لري | د راپورونو لپاره اړین ناتش rubric نوم. |
scale.minimum |
number |
0 |
د دې schema ټیټ عادي شوی نمره: 0. |
scale.maximum |
number |
1 |
د دې schema لوړه عادي شوې نمره: 1. |
criteria |
object[] |
اړین / تلواله نه لري | ناتش لېست. ټول اړین معیارونه باید بریالي شي؛ ID-ګانې باید بېتکراره وي. |
criteria[].id |
string |
اړین / تلواله نه لري | اړین ثابت معیار پېژند؛ په راپورونو کې ساتل کېږي. |
criteria[].description |
string | null |
null |
اختیاري تشریحي متن. تشریح مانايي درجهبندوونکی نه دی. |
criteria[].metric |
string |
اړین / تلواله نه لري | اړین ثبت شوی سنجه: exact_match، macro_f1، text_similarity، chrf یا دودیز ثبت شوی scorer. |
criteria[].minimum_score |
number |
اړین / تلواله نه لري | اړین محدود حد له 0 تر 1 پورې. د بېلګې حد د پایلې ژمنه نه ده. |
regression.maximum_score_drop |
number |
0.02 |
له لاسنهوهل شوي بنسټ څخه د عادي شوې نمرې منل شوی مطلق کمښت، له 0 تر 1؛ د هر ساتل شوي معیار له مخې ارزول کېږي. |
final_test.path |
string |
اړین / تلواله نه لري | اړین؛ باید د data.test_path هماغه خپلواک فایل وي. |
final_test.allow_training_use |
boolean |
false |
یوازې false. هغه تنظیمات رد کړئ چې د جلا ساتل شوې ازموینې ځوابونه روزنې یا ښوونکي ته د ننوتلو اجازه ورکوي. |
SDK 0.2.0 CONFIGURATION RULES
Unknown fields, duplicate IDs, nonfinite numbers and unsafe paths are rejected.
All model, data, rubric and output paths must resolve inside the project root.
Automatic mode resolves "auto" once; save all resolved values in the plan manifest.
Advanced mode requires explicit method, epochs, learning_rate, batch_size,
gradient_accumulation_steps, max_sequence_length and precision.
SFT does not consume LoRA options. LoRA/QLoRA require a compatible adapter.
Model files and pinned revisions are verified within the project root.
Use the CLI for explicit GPU indexes; Python callers can set CUDA_VISIBLE_DEVICES
before starting Python and keep runtime.devices set to auto.
No automatic execution of untrusted model code, shell commands or plugins.
All three budgets must be finite, positive and explicitly supplied.
Storage includes owned checkpoints, datasets and artifacts, not unrelated files.
Held-out test data must not be sent to the teacher or used for weight updates.
CLI overrides are limited to the documented flags; never silently override a plan.
RUBRIC RULES
Every criterion requires a registered metric and minimum_score; descriptions are not semantic evaluators.
Built-in metrics: exact_match, macro_f1, text_similarity and chrf.
Custom deterministic scorers use register_evaluator(name, scorer, version="...").
Evaluator versions and scoring configuration are pinned in the plan.
0 <= minimum_score <= 1 for the example's normalized scale.
All required criteria must pass; do not average away a failed criterion.
The final_test.path must match data.test_path; allow_training_use must be false.
Scores and budgets in examples are requested settings, not measured results.