اصلي منځپانګې ته ورټوپ کړئ
د روزنې لارښود څپرکي ټول اسناد

د TrainingProject د تنظیم مرجع

د ماډلونو، معلوماتو، روزنې، بودجو، بېرته ترلاسه کولو او ارزونې لپاره د پروژې ډګرونه، تلواله ارزښتونه او د تایید اصول.

په ټولو ژبو کې امرونه او کوډ په انګلیسي پاتې کېږي. غټ‌توري ځای‌نښې د خپل حساب او پیسې ورکړل شوې دندې له ارزښتونو سره بدلې کړئ؛ ریښتینې کیلي په شریکو notebook-ونو یا لاګونو کې مه نښلوئ.

له تنظیم څخه تر تکرار وړ اجرا

تر پیسې ورکړل شوي کار یا د وزنونو بدلون مخکې ټول تنظیمات حل او وارزوئ.
  1. تشریح ماډل، ښوونکی او موخه
  2. محدودول معلومات، محرمیت او بودجې
  3. تایید د adapter او اجرا چاپېریال سازګاري
  4. پلان تثبیتول حل شوي تنظیمات او fingerprint-ونه
  5. اجرا یوازې بیاکتل شوې پروژه

تشریح: ماډل، ښوونکی او موخه. محدودول: معلومات، محرمیت او بودجې. تایید: د adapter او اجرا چاپېریال سازګاري. پلان تثبیتول: حل شوي تنظیمات او fingerprint-ونه. اجرا: یوازې بیاکتل شوې پروژه

پروژه تعریف او معلومات یې خوندي کړئ

دا د schema 1.0 د پروژې قرارداد دی. د Automatic بېلګه د training.json په نوم خوندي کړئ. مسیرونه د پروژې د ریښې دننه حل کړئ، شامل reference model ID وټاکئ او API key د پروسې په چاپېریال کې وساتئ. تنظیم یو پیسې ورکړل شوی د ښوونکي مرجع او په خپلواکه توګه د روزلو وړ زده‌کوونکی ټاکي؛ د ښوونکي وزنونه هېڅکله نه ښکته کوي.

  • ناپېژندل شوې کیلي ردېږي. د ماډل، معلوماتو، rubric او محصول مسیرونه باید د پروژې دننه حل شي.
  • د ښوونکي شریکول یوازې منل شوې روزنیزې سرچینې رانغاړي. د اعتبارسنجونې او وروستۍ ازموینې توکي محلي پاتې کېږي.
  • TrainingClient د پخوانیو پیسې ورکړل شوو دندو او ناستو لپاره لا هم شته.
پروژه، ماډل او ښوونکی
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
schema_version string "1.0" 1.0 کټ مټ وکاروئ. نور schema نسخې تر څرګند ملاتړ پورې ردېږي.
mode enum اړین / تلواله نه لري اړین: automatic یا advanced. Automatic سازګار تلواله ارزښتونه ټاکي؛ Advanced څرګند کنټرولونه وړاندې کوي.
objective string اړین / تلواله نه لري اړین دنده‌پېژندنه، 10–4000 کرکټرونه. مخاطب، وړتیاوې او تمه شوې پایله وښایئ.
model.path string اړین / تلواله نه لري د پروژې دننه د ماډل اړینه محلي ډایرکټري، یا repository پېژند چې له نه‌بدلېدونکي revision سره وي. د ښوونکي استنتاج پای‌ټکی نه دی.
model.adapter string اړین / تلواله نه لري د adapter اړین ثبت شوی ID. transformers-causal-lm د Transformers causal-language-model adapter ټاکي.
model.revision string | null null محلي ماډلونه fingerprint کېږي. د repository پېژندونه نه‌بدلېدونکی 40 یا 64 کرکټر revision غواړي.
teacher.provider string اړین / تلواله نه لري د خپل فعال پیسې ورکړل شوي پلان اړین چمتوکوونکی پېژند. د ماډل مالکیت نه لېږدوي.
teacher.reference_model_id integer اړین / تلواله نه لري د همدې چمتوکوونکي په پلان کې له شاملو ماډلونو څخه اړین مثبت integer؛ ځای‌نښې باید بدلې شي.
معلومات او محرمیت
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
data.sources string[] [] محلي JSONL روزنیزو سرچینو مسیرونه چې text ډګر لري. د ښوونکي درسونه د approved_only شریکولو له مخې ورزیاتېدای شي.
data.teacher_sharing enum "approved_only" approved_only بیاکتل شوي روزنیز مواد اجازه کوي؛ none د پېرودونکي د منځپانګې ښوونکي ته لېږل منع کوي. د ارزونې پټ معلومات تل جلا دي.
data.validation_path string | null null اختیاري خپلواک اعتبارسنجونې JSONL. که نه وي، بیاکتل شوی پلان له روزنې مخکې deterministically وېش ټاکي.
data.test_path string اړین / تلواله نه لري اړین خپلواک وروستۍ ازموینې فایل؛ هېڅکله د ښوونکي چمتو کولو یا اصلاح لپاره نه کارېږي.
data.deduplicate boolean true د وېشونو ترمنځ تکراري او سره پوښل شوې بېلګې لرې کړئ؛ د ایستلو شمېر راپور کړئ، بې له دې چې شخصي متن ښکاره شي.
data.seed integer 42 د deterministic وېش او د بیا تولید وړ پیل لپاره نامنفي integer، که backend یې ملاتړ کوي.
بېلګه · json
{
  "schema_version": "1.0",
  "mode": "automatic",
  "objective": "Classify support messages as billing, account_access or technical_issue.",
  "model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
  "teacher": {"provider": "openai", "reference_model_id": 123},
  "data": {
    "sources": ["./data/train.jsonl"], "teacher_sharing": "none",
    "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl",
    "deduplicate": true, "seed": 42
  },
  "runtime": {"target": "customer_datacenter", "devices": "auto"},
  "training": {"method": "auto"},
  "curriculum": {"topics": ["intent", "ambiguous_requests", "class_balance"], "max_improvement_cycles": 3, "stop_on_regression": true},
  "budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
  "checkpoints": {"keep_last": 3},
  "evaluation": {"rubric": "./rubric.json", "baseline_required": true},
  "output": {"directory": "./runs/german-001", "format": "safetensors"}
}

Automatic یا Advanced روزنه وټاکئ

Automatic حالت سازګار تنظیمات ټاکي او په پلان کې یې ثبتوي. Advanced حالت څرګند روزنیز تنظیمات مني او یوازې له سازګارې معمارۍ، طریقې، precision او هارډوېیر سره. تلواله ارزښتونه د ټولو لپاره د حافظې یا فعالیت ضمانت نه دي. ناسم ترکیب د وزنونو تر بدلون مخکې د سازګارۍ په کتنه کې ناکامېږي.

  • د روزنې طریقې SFT، LoRA او QLoRA دي؛ Automatic حالت د auto طریقه هم ټاکلای شي.
  • په وېشل شوي DDP کې منل شوی launcher د node rank او rendezvous تنظیمات برابروي؛ څو-node اجرا څرګند باوري torchrun چاپېریال غواړي.
  • د ماډل معماري، tokenizer او د context محدودیتونه پر ځای دي. Adapter د ماډل د ټولو کورنیو ملاتړ نه کوي.
اجرا چاپېریال او وېش
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
runtime.target enum اړین / تلواله نه لري اړین: fusionpointai_hosting، customer_datacenter یا colab. موجود اجرا چاپېریال ټاکي؛ هارډوېیر نه اخلي.
runtime.devices "auto" | integer[] "auto" auto سازګار مجاز وسایل ټاکي؛ څرګند لېست ځانګړي، نامنفي او د لیدو وړ GPU index-ونه لري.
runtime.distributed.backend enum "none" د یوې پروسې لپاره none، یا د ملاتړ شوي adapter او منل شوي څو-worker launcher سره ddp.
runtime.distributed.nodes integer 1 مثبت integer. تر یوه ډېر DDP، هوکړه شوي node لاسرسي، rank-ونو او خوندي rendezvous ته اړتیا لري؛ دا ارزښت ظرفیت نه برابروي.
د روزنې تنظیمات
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
training.method enum "auto" له auto، SFT، LoRA یا QLoRA څخه یو. Automatic حالت auto حل کوي؛ Advanced څرګنده ملاتړ شوې طریقه کاروي.
training.epochs number | "auto" "auto" مثبت محدود شمېر یا یوازې په Automatic کې auto؛ اغېزمن ګامونه د منل شوي وخت او سرچینو له مخې هم محدودېږي.
training.learning_rate number | "auto" "auto" له 1 څخه کم مثبت محدود شمېر یا یوازې په Automatic کې auto. د adapter او سوداګریزې تګلارې محدودیتونه ښايي لا تنګ وي.
training.batch_size integer | "auto" "auto" د هرې وسیلې مثبت integer یا یوازې په Automatic کې auto؛ د حافظې برابرښت تر اجرا مخکې ارزول کېږي.
training.gradient_accumulation_steps integer | "auto" "auto" مثبت integer یا یوازې په Automatic کې auto. اغېزمن batch size د worker شمېر او accumulation له مخې دی.
training.max_sequence_length integer | "auto" "auto" د tokenizer او ماډل په حدودو کې مثبت integer یا یوازې په Automatic کې auto؛ د ماډل context په پټه مه غځوئ.
training.precision enum "auto" د هارډوېیر او backend له ملاتړ سره سم auto، fp32، fp16 یا bf16؛ په Advanced کې څرګند ټاکل کېږي.
training.lora.rank integer 16 مثبت adapter rank. یوازې د LoRA/QLoRA لپاره له وړ target module-ونو سره کارېږي.
training.lora.alpha number 32 د adapter مثبت محدود scaling ارزښت. یوازې د LoRA/QLoRA لپاره.
training.lora.dropout number 0.05 له 0 شامل څخه تر 1 کم محدود ارزښت. یوازې د LoRA/QLoRA لپاره.
training.lora.target_modules "auto" | string[] "auto" auto ملاتړ شوي module نومونه پلان ته حل کوي؛ یا د وړ نومونو ناتش لېست ورکړئ.
د نصاب کنټرولونه
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
curriculum.topics string[] [] په ترتیب د موضوع نومونه. تش لېست Automatic ته د مخکینیو شرطونو وړاندیز پرېږدي؛ Advanced څرګند بیاکتل شوی ترتیب غواړي.
curriculum.max_improvement_cycles integer 3 مثبت integer، تر 10 پورې. د بودجې، د پرمختګ نشتوالي یا شاتګ پر مهال تر دې مخکې ودرېږئ.
curriculum.stop_on_regression boolean true true په rubric کې د شاتګ پر مهال اصلاح دروي. که false وي هم، شاتګ وروستۍ منل ناکاموي.
بېلګه · json
{
  "schema_version": "1.0",
  "mode": "advanced",
  "model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
  "teacher": {"provider": "openai", "reference_model_id": 123},
  "objective": "Classify support messages as billing, account_access or technical_issue.",
  "data": {"sources": ["./data/train.jsonl"], "teacher_sharing": "none", "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl"},
  "runtime": {"target": "customer_datacenter", "devices": [0, 1], "distributed": {"backend": "ddp", "nodes": 1}},
  "training": {
    "method": "LoRA",
    "epochs": 3,
    "learning_rate": 0.0002,
    "batch_size": 1,
    "gradient_accumulation_steps": 16,
    "max_sequence_length": 2048,
    "precision": "bf16",
    "lora": {"rank": 16, "alpha": 32, "dropout": 0.05}
  },
  "curriculum": {
    "topics": ["intent", "ambiguous_requests", "class_balance"],
    "max_improvement_cycles": 3,
    "stop_on_regression": true
  },
  "checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
  "budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
  "evaluation": {"rubric": "./rubric.json", "baseline_required": true},
  "output": {"directory": "./runs/german-advanced-001", "format": "safetensors"}
}

محدودې بودجې او د اندازه کولو وړ منل وټاکئ

هره پروژه د وخت، د ښوونکي د غوښتنو او زېرمه څرګندې بودجې لري. د لومړۍ ختمې شوې بودجې، د بشپړتیا د ناکامې کتنې، شاتګ یا د پرمختګ د نشتوالي پر مهال ودرېږئ. د بېرته ترلاسه کولو سم حالت وساتئ او ناپوره معیارونه تشریح کړئ. Rubric خپلواکې د منلو دندې تعریفوي؛ د بېلګې نمره لاسته راوړنه نه ګرځوي.

  • د rubric بېلګه د 0–1 عادي شوې کچه او جلا اړین معیارونه کاروي. ټول اړین معیارونه باید بریالي شي.
  • د معلوماتو، ماډل، ارزونې، جوړښت یا بودجې بدلون نوې بیاکتل شوې طرحه غواړي؛ ناسم resume په زور مه چلوئ.
  • صادرونه تایید شوي ماډل یا adapter فایلونه، tokenizer او manifest-ونه لري، نه اعتبارلیکونه، نامربوط cache یا ناتایید شوی ماډل کوډ.
بودجې، بېرته ترلاسه کول او محصول
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
budgets.max_training_minutes number اړین / تلواله نه لري د اجرا اړینه مثبته محدوده دقیقه‌يي بودجه، د اجرا تر پیلېدو وروسته د چمتو کولو او ارزونې دیوالي وخت په ګډون.
budgets.max_teacher_requests integer اړین / تلواله نه لري اړین مثبت integer؛ چمتو کول، بیاکتنه او بیا هڅې وشمېرئ. تر حد مخکې په fail-closed ډول ودرېږئ.
budgets.max_storage_gib number اړین / تلواله نه لري د خپل ملکیت زېرمې اړینه مثبته محدوده بودجه په GiB کې، معلومات، checkpoint او محصولات رانغاړي؛ نامربوط فایلونه مه ړنګوئ.
checkpoints.every_steps integer 100 د checkpoint د واټن مثبت integer ګامونه. بریالي pause کې سم atomic checkpoint هم خوندي کړئ.
checkpoints.keep_last integer 3 له 1 تر 5 پورې integer. یوازې تر نوې نسخې تر تایید وروسته زاړه، د اجرا خپل checkpoint-ونه لرې کړئ.
checkpoints.resume_validation enum "strict" یوازې strict. د ماډل، معلوماتو، تنظیم، evaluator یا وېشل شوي جوړښت بدل fingerprint رد کړئ.
evaluation.rubric string اړین / تلواله نه لري د تثبیت شوو evaluator-ونو او د اندازه کولو وړ اړینو معیارونو لرونکي سم rubric اړین مسیر.
evaluation.baseline_required boolean true د دې قرارداد لپاره یوازې true. د وزنونو تر بدلولو مخکې لاس‌نه‌وهل شوی بنسټیز حالت وارزوئ.
output.directory string اړین / تلواله نه لري نوې د اجرا اړوند ډایرکټري اړینه ده. شته اجرا کتلی یا بیا پیلولای شئ، خو run یې هېڅکله نه شي لیکلای.
output.format enum "safetensors" یوازې د ملاتړ په صورت کې safetensors یا adapters. Adapter صادرونه تثبیت شوي بنسټیز ماډل او tokenizer غواړي.
د ارزونې rubric ډګرونه
ډګر یا انترفېسډول یا پایلهتلواله یا د وتلو کوډچلند او تایید
schema_version string "1.0" د rubric schema 1.0؛ د بسته له خپرونې نسخې جلا.
name string اړین / تلواله نه لري د راپورونو لپاره اړین ناتش rubric نوم.
scale.minimum number 0 د دې schema ټیټ عادي شوی نمره: 0.
scale.maximum number 1 د دې schema لوړه عادي شوې نمره: 1.
criteria object[] اړین / تلواله نه لري ناتش لېست. ټول اړین معیارونه باید بریالي شي؛ ID-ګانې باید بې‌تکراره وي.
criteria[].id string اړین / تلواله نه لري اړین ثابت معیار پېژند؛ په راپورونو کې ساتل کېږي.
criteria[].description string | null null اختیاري تشریحي متن. تشریح مانايي درجه‌بندوونکی نه دی.
criteria[].metric string اړین / تلواله نه لري اړین ثبت شوی سنجه: exact_match، macro_f1، text_similarity، chrf یا دودیز ثبت شوی scorer.
criteria[].minimum_score number اړین / تلواله نه لري اړین محدود حد له 0 تر 1 پورې. د بېلګې حد د پایلې ژمنه نه ده.
regression.maximum_score_drop number 0.02 له لاس‌نه‌وهل شوي بنسټ څخه د عادي شوې نمرې منل شوی مطلق کمښت، له 0 تر 1؛ د هر ساتل شوي معیار له مخې ارزول کېږي.
final_test.path string اړین / تلواله نه لري اړین؛ باید د data.test_path هماغه خپلواک فایل وي.
final_test.allow_training_use boolean false یوازې false. هغه تنظیمات رد کړئ چې د جلا ساتل شوې ازموینې ځوابونه روزنې یا ښوونکي ته د ننوتلو اجازه ورکوي.
بېلګه · text
SDK 0.2.0 CONFIGURATION RULES
Unknown fields, duplicate IDs, nonfinite numbers and unsafe paths are rejected.
All model, data, rubric and output paths must resolve inside the project root.
Automatic mode resolves "auto" once; save all resolved values in the plan manifest.
Advanced mode requires explicit method, epochs, learning_rate, batch_size,
gradient_accumulation_steps, max_sequence_length and precision.
SFT does not consume LoRA options. LoRA/QLoRA require a compatible adapter.
Model files and pinned revisions are verified within the project root.
Use the CLI for explicit GPU indexes; Python callers can set CUDA_VISIBLE_DEVICES
before starting Python and keep runtime.devices set to auto.
No automatic execution of untrusted model code, shell commands or plugins.
All three budgets must be finite, positive and explicitly supplied.
Storage includes owned checkpoints, datasets and artifacts, not unrelated files.
Held-out test data must not be sent to the teacher or used for weight updates.
CLI overrides are limited to the documented flags; never silently override a plan.
RUBRIC RULES
Every criterion requires a registered metric and minimum_score; descriptions are not semantic evaluators.
Built-in metrics: exact_match, macro_f1, text_similarity and chrf.
Custom deterministic scorers use register_evaluator(name, scorer, version="...").
Evaluator versions and scoring configuration are pinned in the plan.
0 <= minimum_score <= 1 for the example's normalized scale.
All required criteria must pass; do not average away a failed criterion.
The final_test.path must match data.test_path; allow_training_use must be false.
Scores and budgets in examples are requested settings, not measured results.