بازدان بۆ ناوەڕۆکی سەرەکی
بەشەکانی ڕێنمایی ڕاهێنان هەموو بەڵگەنامەکان

سەرچاوەی ڕێکخستنی TrainingProject

خانە، بەهای بنەڕەت و یاسای پشتڕاستکردنەوەی پڕۆژە بۆ مۆدێل، داتا، ڕاهێنان، بودجە، گەڕاندنەوە و هەڵسەنگاندن.

فەرمان و کۆد لە هەموو زمانێکدا بە ئینگلیزی دەمێننەوە. جێگرەوە گەورەنووسەکان بە بەهای هەژمار و کاری پارەدراوی خۆت بگۆڕە؛ کلیلی ڕاستەقینە لە نۆتبووکی هاوبەش یان تۆمارەکاندا مەنووسە.

لە ڕێکخستنەوە بۆ ڕاکردنی دووبارەبەرهەمهێنەر

پێش کاری پارەدراو یان گۆڕینی کێش، هەموو ڕێکخستنەکان چارەسەر و پێداچوونەوەیان بۆ بکە.
  1. پێناسە مۆدێل، مامۆستا و ئامانج
  2. سنووردارکردن داتا، تایبەتمەندی و بودجە
  3. پشتڕاستکردنەوە گونجانی ئادا‌پتەر و runtime
  4. جێگیرکردنی پلان ڕێکخستن و fingerprintی چارەسەرکراو
  5. جێبەجێکردن تەنها پڕۆژەی پێداچوونەوەکراو

پێناسە: مۆدێل، مامۆستا و ئامانج. سنووردارکردن: داتا، تایبەتمەندی و بودجە. پشتڕاستکردنەوە: گونجانی ئادا‌پتەر و runtime. جێگیرکردنی پلان: ڕێکخستن و fingerprintی چارەسەرکراو. جێبەجێکردن: تەنها پڕۆژەی پێداچوونەوەکراو

پڕۆژە پێناسە بکە و داتاکەی بپارێزە

ئەمە گرێبەستی پڕۆژەی schema 1.0ە. نموونەی Automatic وەک training.json پاشەکەوت بکە. ڕێڕەوەکان لە ڕەگی پڕۆژەدا چارەسەر بکە، ناسنامەی مۆدێلی سەرچاوەی لەخۆگیراو دابنێ و کلیلی API لە ژینگەی پرۆسەدا بهێڵەوە. ڕێکخستن سەرچاوەی مامۆستای پارەدراو و قوتابیی سەربەخۆی ڕاهێنراو هەڵدەبژێرێت؛ هەرگیز کێشی مامۆستا دادەبەزێنێت.

  • کلیلی نەناسراو ڕەت دەکرێتەوە. ڕێڕەوی مۆدێل، داتا، ڕوبریک و دەرچوون دەبێت لە ڕەگی پڕۆژەدا چارەسەر ببن.
  • هاوبەشکردنی مامۆستا تەنها بۆ سەرچاوەی ڕاهێنانی پەسەندکراوە. توخمەکانی پشتڕاستکردنەوە و تاقیکردنەوەی کۆتایی لە ناوخۆ دەمێننەوە.
  • TrainingClient بۆ ڕەوتی کاری sessionی jobی پارەدراوی ئێستا بەردەست دەمێنێتەوە.
پڕۆژە، مۆدێل و مامۆستا
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
schema_version string "1.0" بە وردی 1.0 بەکاربهێنە. وەشانی تری schema تا بە ڕوونی پشتگیری نەکرابن ڕەت دەکرێنەوە.
mode enum پێویست / بەبێ بنەڕەت پێویست: automatic یان advanced. Automatic بنەمای گونجاو چارەسەر دەکات؛ Advanced کۆنترۆڵی ڕوون دەخاتەبەردەست.
objective string پێویست / بەبێ بنەڕەت وەسفی پێویستی ئەرک، 10–4000 پیت. ئامانج، تواناکان و دەرئەنجامی چاوەڕوانکراو ناوببە.
model.path string پێویست / بەبێ بنەڕەت بوخچەی مۆدێلی ناوخۆییی پێویست لە ڕەگی پڕۆژەدا، یان ناسنامەی repository لەگەڵ revisionی نەگۆڕ. هەرگیز خاڵی کۆتاییی inferenceی مامۆستا نییە.
model.adapter string پێویست / بەبێ بنەڕەت IDی ئادا‌پتەری تۆمارکراوی پێویست. transformers-causal-lm ئادا‌پتەری مۆدێلی زمانی causalی Transformers هەڵدەبژێرێت.
model.revision string | null null مۆدێلی ناوخۆ fingerprint دەکرێت. ناسنامەی repository revisionی نەگۆڕی 40 یان 64 پیتی دەوێت.
teacher.provider string پێویست / بەبێ بنەڕەت ناسنامەی دابینکەری پێویست لە پلانی پارەدراوی چالاکت. خاوەندارێتیی مۆدێل ناگوازێتەوە.
teacher.reference_model_id integer پێویست / بەبێ بنەڕەت ژمارەی تەواوی ئەرێنیی پێویست لە مۆدێلە لەخۆگیراوەکانی پلانی دابینکەر؛ جێگرەوەکان دەبێت بگۆڕدرێن.
داتا و تایبەتمەندی
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
data.sources string[] [] ڕێڕەوی سەرچاوەی ڕاهێنانی ناوخۆی JSONL کە خانەی textیان هەیە. وانەی بەرهەمهاتووی مامۆستا بە سیاسەتی approved_only دەتوانێت زیاد بکرێت.
data.teacher_sharing enum "approved_only" approved_only ناوەڕۆکی ڕاهێنانی پێداچوونەوەکراو ڕێگەپێدەدات؛ none ناردنی ناوەڕۆکی کڕیار بۆ مامۆستا قەدەغە دەکات. داتای هەڵسەنگاندنی شاراوە هەمیشە دەرکراوە.
data.validation_path string | null null JSONLی پشتڕاستکردنەوەی سەربەخۆی هەڵبژاردەیی. ئەگەر نەبێت، پلانی پێداچوونەوەکراو پێش ڕاهێنان دابەشکردنێکی deterministic پێناسە دەکات.
data.test_path string پێویست / بەبێ بنەڕەت پەڕگەی تاقیکردنەوەی کۆتاییی سەربەخۆی پێویست؛ هەرگیز لە ئامادەکاریی مامۆستا یان باشترکردندا بەکارناهێنرێت.
data.deduplicate boolean true نموونەی دووبارە و هاوپۆش لەنێوان دابەشەکان بسڕەوە؛ بەبێ دەرخستنی دەقی تایبەت، دەرچوون ڕاپۆرت بکە.
data.seed integer 42 ژمارەی تەواوی نەنەرێنی بۆ دابەشکردنی deterministic و دەستپێکردنی دووبارەبەرهەمهێنەر کاتێک backend پشتگیری دەکات.
نموونە · json
{
  "schema_version": "1.0",
  "mode": "automatic",
  "objective": "Classify support messages as billing, account_access or technical_issue.",
  "model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
  "teacher": {"provider": "openai", "reference_model_id": 123},
  "data": {
    "sources": ["./data/train.jsonl"], "teacher_sharing": "none",
    "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl",
    "deduplicate": true, "seed": 42
  },
  "runtime": {"target": "customer_datacenter", "devices": "auto"},
  "training": {"method": "auto"},
  "curriculum": {"topics": ["intent", "ambiguous_requests", "class_balance"], "max_improvement_cycles": 3, "stop_on_regression": true},
  "budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
  "checkpoints": {"keep_last": 3},
  "evaluation": {"rubric": "./rubric.json", "baseline_required": true},
  "output": {"directory": "./runs/german-001", "format": "safetensors"}
}

ڕاهێنانی Automatic یان Advanced هەڵبژێرە

Automatic ڕێکخستنی گونجاو چارەسەر دەکات و لە پلاندا تۆماری دەکات. Advanced ڕێکخستنی ڕاهێنانی دیاریکراو و تەنها تێکەڵەی گونجاوی تەلارسازی، شێواز، وردی و ئامێر وەردەگرێت. بەهای بنەڕەت دڵنیاییی گشتی بۆ بیرگە یان کارایی نییە. تێکەڵەی پشتگیری‌نەکراو پێش گۆڕینی کێش لە پشکنینی گونجانی تێناپەڕێت.

  • شێوازی ڕاهێنان SFT، LoRA و QLoRAن؛ Automatic دەتوانێت بەهای شێواز auto چارەسەر بکات.
  • بۆ DDPی دابەشکراو، launcherی پەسەندکراو rankی node و ڕێکخستنی rendezvous دابین دەکات؛ جێبەجێکردنی چەند node ژینگەی torchrunی متمانەپێکراوی ڕوون دەوێت.
  • تەلارسازیی مۆدێل، tokenizer و سنووری کۆنتێکست پابەندن. ئادا‌پتەر هەموو خێزانی مۆدێل پشتگیری ناکات.
Runtime و دابەشکردن
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
runtime.target enum پێویست / بەبێ بنەڕەت پێویست: fusionpointai_hosting، customer_datacenter یان colab. runtimeی ئێستا هەڵدەبژێرێت؛ ئامێر ناکڕێت.
runtime.devices "auto" | integer[] "auto" auto ئامێری گونجاوی پەسەندکراو هەڵدەبژێرێت؛ لیستی ڕوون ژمارەی GPUی بینراوی نەرێنی‌نەبووی دووبارەناوی تێدا نییە.
runtime.distributed.backend enum "none" none بۆ یەک پرۆسە، یان ddp لەگەڵ ئادا‌پتەری پشتگیریکراو و launcherی چەندکارکەری پەسەندکراو.
runtime.distributed.nodes integer 1 ژمارەی تەواوی ئەرێنی. زیاتر لە یەک DDP، دەستگەیشتنی nodeی ڕێککەوتوو، rank و rendezvousی پارێزراو دەوێت؛ ئەم بەهایە توانای ژمێریاری دانانانێت.
ڕێکخستنی ڕاهێنان
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
training.method enum "auto" یەکێک لە auto، SFT، LoRA یان QLoRA. Automatic auto چارەسەر دەکات؛ Advanced شێوازی پشتگیریکراوی ڕوون بەکاردەهێنێت.
training.epochs number | "auto" "auto" ژمارەی سنوورداری ئەرێنی یان auto تەنها بۆ Automatic؛ ژمارەی گشتیی هەنگاو هەروەها بە کات و سەرچاوەی پەسەندکراو سنووردارە.
training.learning_rate number | "auto" "auto" ژمارەی داراییی سنوورداری ئەرێنی کەمتر لە 1 یان auto تەنها بۆ Automatic. سیاسەتی ئادا‌پتەر و بازرگانی لەوانەیە سنووری تەنگتری دابنێن.
training.batch_size integer | "auto" "auto" ژمارەی تەواوی per-deviceی ئەرێنی یان auto تەنها بۆ Automatic؛ گونجانی بیرگە پێش جێبەجێکردن دەپشکنرێت.
training.gradient_accumulation_steps integer | "auto" "auto" ژمارەی تەواوی ئەرێنی یان auto تەنها بۆ Automatic. batchی کاریگەر ژمارەی کارکەر و accumulation لەخۆدەگرێت.
training.max_sequence_length integer | "auto" "auto" ژمارەی تەواو لە سنووری tokenizer و مۆدێلدا یان auto تەنها بۆ Automatic؛ کۆنتێکستی مۆدێل بێدەنگ درێژ مەکەرەوە.
training.precision enum "auto" auto، fp32، fp16 یان bf16 بەپێی پشتگیریی ئامێر و backend؛ لە Advancedدا بە ڕوونی دیاری دەکرێت.
training.lora.rank integer 16 rankی ئادا‌پتەری ئەرێنی. تەنها بۆ LoRA/QLoRA لەگەڵ moduleی ئامانجی شایستە بەکاردێت.
training.lora.alpha number 32 بەهای scalingی ئەرێنی و سنوورداری ئادا‌پتەر. تەنها بۆ LoRA/QLoRA بەکاردێت.
training.lora.dropout number 0.05 بەهای سنوورداری لە سفر بەخۆیەوە تا کەمتر لە 1. تەنها بۆ LoRA/QLoRA بەکاردێت.
training.lora.target_modules "auto" | string[] "auto" auto ناوی moduleی پشتگیریکراو لە پلاندا چارەسەر دەکات، یان لیستیەکی بەتاڵ‌نەبوو لە ناوی شایستە دابنێ.
کۆنترۆڵی بەرنامەی بابەت
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
curriculum.topics string[] [] ناوی بابەتی ڕیزکراو. بەتاڵ لە Automaticدا ڕێگای پێشەکی پێشنیار دەکات؛ Advanced ڕیزبەندیی پێداچوونەوەکراوی ڕوون دەوێت.
curriculum.max_improvement_cycles integer 3 ژمارەی تەواوی ئەرێنی، زۆرترین 10. کاتێک بودجە، نەبوونی پێشکەوتن یان دواگەڕان ڕوودا، زووتر بوەستە.
curriculum.stop_on_regression boolean true کاتێک trueە، بە دواگەڕانی پێناسەکراوی ڕوبریک باشترکردن بوەستێنە. کاتێک falseە، دواگەڕان هێشتا قبوڵکردنی کۆتایی دەشکێنێت.
نموونە · json
{
  "schema_version": "1.0",
  "mode": "advanced",
  "model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
  "teacher": {"provider": "openai", "reference_model_id": 123},
  "objective": "Classify support messages as billing, account_access or technical_issue.",
  "data": {"sources": ["./data/train.jsonl"], "teacher_sharing": "none", "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl"},
  "runtime": {"target": "customer_datacenter", "devices": [0, 1], "distributed": {"backend": "ddp", "nodes": 1}},
  "training": {
    "method": "LoRA",
    "epochs": 3,
    "learning_rate": 0.0002,
    "batch_size": 1,
    "gradient_accumulation_steps": 16,
    "max_sequence_length": 2048,
    "precision": "bf16",
    "lora": {"rank": 16, "alpha": 32, "dropout": 0.05}
  },
  "curriculum": {
    "topics": ["intent", "ambiguous_requests", "class_balance"],
    "max_improvement_cycles": 3,
    "stop_on_regression": true
  },
  "checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
  "budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
  "evaluation": {"rubric": "./rubric.json", "baseline_required": true},
  "output": {"directory": "./runs/german-advanced-001", "format": "safetensors"}
}

بودجەی سنووردار و قبوڵکردنی پێوانەکراو دابنێ

هەر پڕۆژەیەک بودجەی ڕوونی کات، داواکاریی مامۆستا و هەڵگرتن هەیە. لە یەکەم بودجەی تەواوبوو، شکستی یەکپارچەیی، دواگەڕان یان نەبوونی پێشکەوتندا بوەستە. دۆخی دروستی گەڕاندنەوە بپارێزە و پێوەری جێبەجێنەکراو ڕوون بکەرەوە. ڕوبریک کاری سەربەخۆی قبوڵکردن دیاری دەکات؛ نمرەی نموونەیی بە مانای ئەنجامی بەدەستهاتوو نییە.

  • ڕوبریکی نموونەیی پێوەری normalizedی 0–1 و پێداویستیی جیاواز بەکاردەهێنێت. هەموو پێوەرە پێویستەکان دەبێت تێپەڕ بن.
  • گۆڕینی داتا، مۆدێل، هەڵسەنگاندن، تۆپۆلۆژی یان بودجە پلانی نوێی پێداچوونەوەکراو دەوێت؛ resumeی ناهاوتا بە زۆر مەکە.
  • هەناردە پەڕگەی پشتڕاستکراوی مۆدێل یان ئادا‌پتەر، tokenizer و manifest لەخۆدەگرێت؛ ناسنامەنهێنی، cacheی بێ‌پەیوەندی یان کۆدی مۆدێلی پێداچوونەنەکراو ناگرێتەوە.
بودجە، گەڕاندنەوە و دەرچوون
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
budgets.max_training_minutes number پێویست / بەبێ بنەڕەت بودجەی جێبەجێکردنی سنوورداری ئەرێنی بە خولەک، لەگەڵ کاتی ئامادەکاری و هەڵسەنگاندنی دیواری دوای دەستپێکردنی ڕاکردن.
budgets.max_teacher_requests integer پێویست / بەبێ بنەڕەت ژمارەی تەواوی ئەرێنیی پێویست؛ هەوڵی ئامادەکردن، پێداچوونەوە و دووبارەکردنەوە ژمێرە. پێش تێپەڕاندنی سنوور بە دڵنیایی ڕابگرە.
budgets.max_storage_gib number پێویست / بەبێ بنەڕەت بودجەی هەڵگرتنی خاوەنداریکراوی سنوورداری ئەرێنی بە GiB، داتا، checkpoint و بەرهەم لەخۆدەگرێت؛ هەرگیز پەڕگەی بێ‌پەیوەندی مەسڕەوە.
checkpoints.every_steps integer 100 ماوەی checkpoint بە ژمارەی هەنگاوی تەواو. لە pauseی سەرکەوتوودا هەروەها checkpointی ئەتۆمیکی دروست پاشەکەوت بکە.
checkpoints.keep_last integer 3 ژمارەی تەواو لە 1 تا 5. تەنها دوای پشتڕاستکردنەوەی checkpointی نوێتر، کۆنەکانی خاوەنداریکراو بسڕەوە.
checkpoints.resume_validation enum "strict" تەنها strict. گۆڕانی fingerprintی مۆدێل، داتا، ڕێکخستن، هەڵسەنگێنەر یان تۆپۆلۆژیی دابەشکراو ڕەت بکەرەوە.
evaluation.rubric string پێویست / بەبێ بنەڕەت ڕێڕەوی پێویست بۆ ڕوبریکێکی دروست لەگەڵ هەڵسەنگێنەری pinکراو و پێوەری پێویستی پێوانەکراو.
evaluation.baseline_required boolean true بۆ ئەم گرێبەستە تەنها true. پێش گۆڕینی کێش بنەمای دەست‌نەخوراو هەڵبسەنگێنە.
output.directory string پێویست / بەبێ بنەڕەت بوخچەی ڕاکردنی نوێی خاوەنداریکراوی پێویست. ڕاکردنی ئێستا تەنها دەتوانرێت بپشکنرێت یان resume بکرێت، run هەرگیز ناینووسێتەوە.
output.format enum "safetensors" safetensors یان adapters، تەنها لە کاتی پشتگیریی. هەناردەی ئادا‌پتەر مۆدێلی بنەڕەت و tokenizerی pinکراو دەوێت.
خانەکانی ڕوبریکی هەڵسەنگاندن
خانە یان ڕووکارجۆر یان ئەنجامبنەڕەت یان کۆدی دەرچوونهەڵسوکەوت و پشتڕاستکردنەوە
schema_version string "1.0" schemaی ڕوبریک 1.0؛ لە وەشانی بڵاوکردنەوەی پاکێج جیاوازە.
name string پێویست / بەبێ بنەڕەت ناوی ڕوبریکی پێویستی بەتاڵ‌نەبوو کە لە ڕاپۆرتدا بەکاردێت.
scale.minimum number 0 سنووری خوارەوەی نمرەی normalized: بۆ ئەم schemaیە 0.
scale.maximum number 1 سنووری سەرەوەی نمرەی normalized: بۆ ئەم schemaیە 1.
criteria object[] پێویست / بەبێ بنەڕەت لیستی پێویستی بەتاڵ‌نەبوو. هەموو پێوەری پێویست دەبێت تێپەڕ ببن؛ ID دووبارە نابێت.
criteria[].id string پێویست / بەبێ بنەڕەت ناسنامەی جێگیری پێویستی هەڵسەنگاندن کە لە ڕاپۆرتدا دەپارێزرێت.
criteria[].description string | null null دەقی ڕوونکەرەوەی هەڵبژاردەیی. وەسف هەڵسەنگێنەری مانایی نییە.
criteria[].metric string پێویست / بەبێ بنەڕەت metricی تۆمارکراوی پێویست: exact_match، macro_f1، text_similarity، chrf یان هەڵسەنگێنەری تایبەتی تۆمارکراو.
criteria[].minimum_score number پێویست / بەبێ بنەڕەت ئاستی سنوورداری پێویست لە نێوان 0 و 1. ئاستی نموونە ئەنجامی بەڵێندراو نییە.
regression.maximum_score_drop number 0.02 ڕێگەپێدانی کەمبوونی ڕەهای normalized لە بنەمای دەست‌نەخوراوەوە، 0 تا 1؛ بۆ هەر پێوەری پارێزراو هەڵدەسەنگێنرێت.
final_test.path string پێویست / بەبێ بنەڕەت پێویستە؛ دەبێت هەمان پەڕگەی سەربەخۆی data.test_path بێت.
final_test.allow_training_use boolean false تەنها false. ڕێکخستنی ڕێگەپێدەر بە بەکارهێنانی وەڵامی تاقیکردنەوەی لادراو لە ڕاهێنان یان تێخستنی مامۆستا ڕەت بکەرەوە.
نموونە · text
SDK 0.2.0 CONFIGURATION RULES
Unknown fields, duplicate IDs, nonfinite numbers and unsafe paths are rejected.
All model, data, rubric and output paths must resolve inside the project root.
Automatic mode resolves "auto" once; save all resolved values in the plan manifest.
Advanced mode requires explicit method, epochs, learning_rate, batch_size,
gradient_accumulation_steps, max_sequence_length and precision.
SFT does not consume LoRA options. LoRA/QLoRA require a compatible adapter.
Model files and pinned revisions are verified within the project root.
Use the CLI for explicit GPU indexes; Python callers can set CUDA_VISIBLE_DEVICES
before starting Python and keep runtime.devices set to auto.
No automatic execution of untrusted model code, shell commands or plugins.
All three budgets must be finite, positive and explicitly supplied.
Storage includes owned checkpoints, datasets and artifacts, not unrelated files.
Held-out test data must not be sent to the teacher or used for weight updates.
CLI overrides are limited to the documented flags; never silently override a plan.
RUBRIC RULES
Every criterion requires a registered metric and minimum_score; descriptions are not semantic evaluators.
Built-in metrics: exact_match, macro_f1, text_similarity and chrf.
Custom deterministic scorers use register_evaluator(name, scorer, version="...").
Evaluator versions and scoring configuration are pinned in the plan.
0 <= minimum_score <= 1 for the example's normalized scale.
All required criteria must pass; do not average away a failed criterion.
The final_test.path must match data.test_path; allow_training_use must be false.
Scores and budgets in examples are requested settings, not measured results.