فەرمان و کۆد لە هەموو زمانێکدا بە ئینگلیزی دەمێننەوە. جێگرەوە گەورەنووسەکان بە بەهای هەژمار و کاری پارەدراوی خۆت بگۆڕە؛ کلیلی ڕاستەقینە لە نۆتبووکی هاوبەش یان تۆمارەکاندا مەنووسە.
لە ڕێکخستنەوە بۆ ڕاکردنی دووبارەبەرهەمهێنەر
- پێناسە مۆدێل، مامۆستا و ئامانج
- سنووردارکردن داتا، تایبەتمەندی و بودجە
- پشتڕاستکردنەوە گونجانی ئاداپتەر و runtime
- جێگیرکردنی پلان ڕێکخستن و fingerprintی چارەسەرکراو
- جێبەجێکردن تەنها پڕۆژەی پێداچوونەوەکراو
پێناسە: مۆدێل، مامۆستا و ئامانج. سنووردارکردن: داتا، تایبەتمەندی و بودجە. پشتڕاستکردنەوە: گونجانی ئاداپتەر و runtime. جێگیرکردنی پلان: ڕێکخستن و fingerprintی چارەسەرکراو. جێبەجێکردن: تەنها پڕۆژەی پێداچوونەوەکراو
پڕۆژە پێناسە بکە و داتاکەی بپارێزە
ئەمە گرێبەستی پڕۆژەی schema 1.0ە. نموونەی Automatic وەک training.json پاشەکەوت بکە. ڕێڕەوەکان لە ڕەگی پڕۆژەدا چارەسەر بکە، ناسنامەی مۆدێلی سەرچاوەی لەخۆگیراو دابنێ و کلیلی API لە ژینگەی پرۆسەدا بهێڵەوە. ڕێکخستن سەرچاوەی مامۆستای پارەدراو و قوتابیی سەربەخۆی ڕاهێنراو هەڵدەبژێرێت؛ هەرگیز کێشی مامۆستا دادەبەزێنێت.
- کلیلی نەناسراو ڕەت دەکرێتەوە. ڕێڕەوی مۆدێل، داتا، ڕوبریک و دەرچوون دەبێت لە ڕەگی پڕۆژەدا چارەسەر ببن.
- هاوبەشکردنی مامۆستا تەنها بۆ سەرچاوەی ڕاهێنانی پەسەندکراوە. توخمەکانی پشتڕاستکردنەوە و تاقیکردنەوەی کۆتایی لە ناوخۆ دەمێننەوە.
- TrainingClient بۆ ڕەوتی کاری sessionی jobی پارەدراوی ئێستا بەردەست دەمێنێتەوە.
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
schema_version |
string |
"1.0" |
بە وردی 1.0 بەکاربهێنە. وەشانی تری schema تا بە ڕوونی پشتگیری نەکرابن ڕەت دەکرێنەوە. |
mode |
enum |
پێویست / بەبێ بنەڕەت | پێویست: automatic یان advanced. Automatic بنەمای گونجاو چارەسەر دەکات؛ Advanced کۆنترۆڵی ڕوون دەخاتەبەردەست. |
objective |
string |
پێویست / بەبێ بنەڕەت | وەسفی پێویستی ئەرک، 10–4000 پیت. ئامانج، تواناکان و دەرئەنجامی چاوەڕوانکراو ناوببە. |
model.path |
string |
پێویست / بەبێ بنەڕەت | بوخچەی مۆدێلی ناوخۆییی پێویست لە ڕەگی پڕۆژەدا، یان ناسنامەی repository لەگەڵ revisionی نەگۆڕ. هەرگیز خاڵی کۆتاییی inferenceی مامۆستا نییە. |
model.adapter |
string |
پێویست / بەبێ بنەڕەت | IDی ئاداپتەری تۆمارکراوی پێویست. transformers-causal-lm ئاداپتەری مۆدێلی زمانی causalی Transformers هەڵدەبژێرێت. |
model.revision |
string | null |
null |
مۆدێلی ناوخۆ fingerprint دەکرێت. ناسنامەی repository revisionی نەگۆڕی 40 یان 64 پیتی دەوێت. |
teacher.provider |
string |
پێویست / بەبێ بنەڕەت | ناسنامەی دابینکەری پێویست لە پلانی پارەدراوی چالاکت. خاوەندارێتیی مۆدێل ناگوازێتەوە. |
teacher.reference_model_id |
integer |
پێویست / بەبێ بنەڕەت | ژمارەی تەواوی ئەرێنیی پێویست لە مۆدێلە لەخۆگیراوەکانی پلانی دابینکەر؛ جێگرەوەکان دەبێت بگۆڕدرێن. |
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
data.sources |
string[] |
[] |
ڕێڕەوی سەرچاوەی ڕاهێنانی ناوخۆی JSONL کە خانەی textیان هەیە. وانەی بەرهەمهاتووی مامۆستا بە سیاسەتی approved_only دەتوانێت زیاد بکرێت. |
data.teacher_sharing |
enum |
"approved_only" |
approved_only ناوەڕۆکی ڕاهێنانی پێداچوونەوەکراو ڕێگەپێدەدات؛ none ناردنی ناوەڕۆکی کڕیار بۆ مامۆستا قەدەغە دەکات. داتای هەڵسەنگاندنی شاراوە هەمیشە دەرکراوە. |
data.validation_path |
string | null |
null |
JSONLی پشتڕاستکردنەوەی سەربەخۆی هەڵبژاردەیی. ئەگەر نەبێت، پلانی پێداچوونەوەکراو پێش ڕاهێنان دابەشکردنێکی deterministic پێناسە دەکات. |
data.test_path |
string |
پێویست / بەبێ بنەڕەت | پەڕگەی تاقیکردنەوەی کۆتاییی سەربەخۆی پێویست؛ هەرگیز لە ئامادەکاریی مامۆستا یان باشترکردندا بەکارناهێنرێت. |
data.deduplicate |
boolean |
true |
نموونەی دووبارە و هاوپۆش لەنێوان دابەشەکان بسڕەوە؛ بەبێ دەرخستنی دەقی تایبەت، دەرچوون ڕاپۆرت بکە. |
data.seed |
integer |
42 |
ژمارەی تەواوی نەنەرێنی بۆ دابەشکردنی deterministic و دەستپێکردنی دووبارەبەرهەمهێنەر کاتێک backend پشتگیری دەکات. |
{
"schema_version": "1.0",
"mode": "automatic",
"objective": "Classify support messages as billing, account_access or technical_issue.",
"model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
"teacher": {"provider": "openai", "reference_model_id": 123},
"data": {
"sources": ["./data/train.jsonl"], "teacher_sharing": "none",
"validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl",
"deduplicate": true, "seed": 42
},
"runtime": {"target": "customer_datacenter", "devices": "auto"},
"training": {"method": "auto"},
"curriculum": {"topics": ["intent", "ambiguous_requests", "class_balance"], "max_improvement_cycles": 3, "stop_on_regression": true},
"budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
"checkpoints": {"keep_last": 3},
"evaluation": {"rubric": "./rubric.json", "baseline_required": true},
"output": {"directory": "./runs/german-001", "format": "safetensors"}
}
ڕاهێنانی Automatic یان Advanced هەڵبژێرە
Automatic ڕێکخستنی گونجاو چارەسەر دەکات و لە پلاندا تۆماری دەکات. Advanced ڕێکخستنی ڕاهێنانی دیاریکراو و تەنها تێکەڵەی گونجاوی تەلارسازی، شێواز، وردی و ئامێر وەردەگرێت. بەهای بنەڕەت دڵنیاییی گشتی بۆ بیرگە یان کارایی نییە. تێکەڵەی پشتگیرینەکراو پێش گۆڕینی کێش لە پشکنینی گونجانی تێناپەڕێت.
- شێوازی ڕاهێنان SFT، LoRA و QLoRAن؛ Automatic دەتوانێت بەهای شێواز auto چارەسەر بکات.
- بۆ DDPی دابەشکراو، launcherی پەسەندکراو rankی node و ڕێکخستنی rendezvous دابین دەکات؛ جێبەجێکردنی چەند node ژینگەی torchrunی متمانەپێکراوی ڕوون دەوێت.
- تەلارسازیی مۆدێل، tokenizer و سنووری کۆنتێکست پابەندن. ئاداپتەر هەموو خێزانی مۆدێل پشتگیری ناکات.
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
runtime.target |
enum |
پێویست / بەبێ بنەڕەت | پێویست: fusionpointai_hosting، customer_datacenter یان colab. runtimeی ئێستا هەڵدەبژێرێت؛ ئامێر ناکڕێت. |
runtime.devices |
"auto" | integer[] |
"auto" |
auto ئامێری گونجاوی پەسەندکراو هەڵدەبژێرێت؛ لیستی ڕوون ژمارەی GPUی بینراوی نەرێنینەبووی دووبارەناوی تێدا نییە. |
runtime.distributed.backend |
enum |
"none" |
none بۆ یەک پرۆسە، یان ddp لەگەڵ ئاداپتەری پشتگیریکراو و launcherی چەندکارکەری پەسەندکراو. |
runtime.distributed.nodes |
integer |
1 |
ژمارەی تەواوی ئەرێنی. زیاتر لە یەک DDP، دەستگەیشتنی nodeی ڕێککەوتوو، rank و rendezvousی پارێزراو دەوێت؛ ئەم بەهایە توانای ژمێریاری دانانانێت. |
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
training.method |
enum |
"auto" |
یەکێک لە auto، SFT، LoRA یان QLoRA. Automatic auto چارەسەر دەکات؛ Advanced شێوازی پشتگیریکراوی ڕوون بەکاردەهێنێت. |
training.epochs |
number | "auto" |
"auto" |
ژمارەی سنوورداری ئەرێنی یان auto تەنها بۆ Automatic؛ ژمارەی گشتیی هەنگاو هەروەها بە کات و سەرچاوەی پەسەندکراو سنووردارە. |
training.learning_rate |
number | "auto" |
"auto" |
ژمارەی داراییی سنوورداری ئەرێنی کەمتر لە 1 یان auto تەنها بۆ Automatic. سیاسەتی ئاداپتەر و بازرگانی لەوانەیە سنووری تەنگتری دابنێن. |
training.batch_size |
integer | "auto" |
"auto" |
ژمارەی تەواوی per-deviceی ئەرێنی یان auto تەنها بۆ Automatic؛ گونجانی بیرگە پێش جێبەجێکردن دەپشکنرێت. |
training.gradient_accumulation_steps |
integer | "auto" |
"auto" |
ژمارەی تەواوی ئەرێنی یان auto تەنها بۆ Automatic. batchی کاریگەر ژمارەی کارکەر و accumulation لەخۆدەگرێت. |
training.max_sequence_length |
integer | "auto" |
"auto" |
ژمارەی تەواو لە سنووری tokenizer و مۆدێلدا یان auto تەنها بۆ Automatic؛ کۆنتێکستی مۆدێل بێدەنگ درێژ مەکەرەوە. |
training.precision |
enum |
"auto" |
auto، fp32، fp16 یان bf16 بەپێی پشتگیریی ئامێر و backend؛ لە Advancedدا بە ڕوونی دیاری دەکرێت. |
training.lora.rank |
integer |
16 |
rankی ئاداپتەری ئەرێنی. تەنها بۆ LoRA/QLoRA لەگەڵ moduleی ئامانجی شایستە بەکاردێت. |
training.lora.alpha |
number |
32 |
بەهای scalingی ئەرێنی و سنوورداری ئاداپتەر. تەنها بۆ LoRA/QLoRA بەکاردێت. |
training.lora.dropout |
number |
0.05 |
بەهای سنوورداری لە سفر بەخۆیەوە تا کەمتر لە 1. تەنها بۆ LoRA/QLoRA بەکاردێت. |
training.lora.target_modules |
"auto" | string[] |
"auto" |
auto ناوی moduleی پشتگیریکراو لە پلاندا چارەسەر دەکات، یان لیستیەکی بەتاڵنەبوو لە ناوی شایستە دابنێ. |
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
curriculum.topics |
string[] |
[] |
ناوی بابەتی ڕیزکراو. بەتاڵ لە Automaticدا ڕێگای پێشەکی پێشنیار دەکات؛ Advanced ڕیزبەندیی پێداچوونەوەکراوی ڕوون دەوێت. |
curriculum.max_improvement_cycles |
integer |
3 |
ژمارەی تەواوی ئەرێنی، زۆرترین 10. کاتێک بودجە، نەبوونی پێشکەوتن یان دواگەڕان ڕوودا، زووتر بوەستە. |
curriculum.stop_on_regression |
boolean |
true |
کاتێک trueە، بە دواگەڕانی پێناسەکراوی ڕوبریک باشترکردن بوەستێنە. کاتێک falseە، دواگەڕان هێشتا قبوڵکردنی کۆتایی دەشکێنێت. |
{
"schema_version": "1.0",
"mode": "advanced",
"model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
"teacher": {"provider": "openai", "reference_model_id": 123},
"objective": "Classify support messages as billing, account_access or technical_issue.",
"data": {"sources": ["./data/train.jsonl"], "teacher_sharing": "none", "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl"},
"runtime": {"target": "customer_datacenter", "devices": [0, 1], "distributed": {"backend": "ddp", "nodes": 1}},
"training": {
"method": "LoRA",
"epochs": 3,
"learning_rate": 0.0002,
"batch_size": 1,
"gradient_accumulation_steps": 16,
"max_sequence_length": 2048,
"precision": "bf16",
"lora": {"rank": 16, "alpha": 32, "dropout": 0.05}
},
"curriculum": {
"topics": ["intent", "ambiguous_requests", "class_balance"],
"max_improvement_cycles": 3,
"stop_on_regression": true
},
"checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
"budgets": {"max_training_minutes": 120, "max_teacher_requests": 1000, "max_storage_gib": 20},
"evaluation": {"rubric": "./rubric.json", "baseline_required": true},
"output": {"directory": "./runs/german-advanced-001", "format": "safetensors"}
}
بودجەی سنووردار و قبوڵکردنی پێوانەکراو دابنێ
هەر پڕۆژەیەک بودجەی ڕوونی کات، داواکاریی مامۆستا و هەڵگرتن هەیە. لە یەکەم بودجەی تەواوبوو، شکستی یەکپارچەیی، دواگەڕان یان نەبوونی پێشکەوتندا بوەستە. دۆخی دروستی گەڕاندنەوە بپارێزە و پێوەری جێبەجێنەکراو ڕوون بکەرەوە. ڕوبریک کاری سەربەخۆی قبوڵکردن دیاری دەکات؛ نمرەی نموونەیی بە مانای ئەنجامی بەدەستهاتوو نییە.
- ڕوبریکی نموونەیی پێوەری normalizedی 0–1 و پێداویستیی جیاواز بەکاردەهێنێت. هەموو پێوەرە پێویستەکان دەبێت تێپەڕ بن.
- گۆڕینی داتا، مۆدێل، هەڵسەنگاندن، تۆپۆلۆژی یان بودجە پلانی نوێی پێداچوونەوەکراو دەوێت؛ resumeی ناهاوتا بە زۆر مەکە.
- هەناردە پەڕگەی پشتڕاستکراوی مۆدێل یان ئاداپتەر، tokenizer و manifest لەخۆدەگرێت؛ ناسنامەنهێنی، cacheی بێپەیوەندی یان کۆدی مۆدێلی پێداچوونەنەکراو ناگرێتەوە.
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
budgets.max_training_minutes |
number |
پێویست / بەبێ بنەڕەت | بودجەی جێبەجێکردنی سنوورداری ئەرێنی بە خولەک، لەگەڵ کاتی ئامادەکاری و هەڵسەنگاندنی دیواری دوای دەستپێکردنی ڕاکردن. |
budgets.max_teacher_requests |
integer |
پێویست / بەبێ بنەڕەت | ژمارەی تەواوی ئەرێنیی پێویست؛ هەوڵی ئامادەکردن، پێداچوونەوە و دووبارەکردنەوە ژمێرە. پێش تێپەڕاندنی سنوور بە دڵنیایی ڕابگرە. |
budgets.max_storage_gib |
number |
پێویست / بەبێ بنەڕەت | بودجەی هەڵگرتنی خاوەنداریکراوی سنوورداری ئەرێنی بە GiB، داتا، checkpoint و بەرهەم لەخۆدەگرێت؛ هەرگیز پەڕگەی بێپەیوەندی مەسڕەوە. |
checkpoints.every_steps |
integer |
100 |
ماوەی checkpoint بە ژمارەی هەنگاوی تەواو. لە pauseی سەرکەوتوودا هەروەها checkpointی ئەتۆمیکی دروست پاشەکەوت بکە. |
checkpoints.keep_last |
integer |
3 |
ژمارەی تەواو لە 1 تا 5. تەنها دوای پشتڕاستکردنەوەی checkpointی نوێتر، کۆنەکانی خاوەنداریکراو بسڕەوە. |
checkpoints.resume_validation |
enum |
"strict" |
تەنها strict. گۆڕانی fingerprintی مۆدێل، داتا، ڕێکخستن، هەڵسەنگێنەر یان تۆپۆلۆژیی دابەشکراو ڕەت بکەرەوە. |
evaluation.rubric |
string |
پێویست / بەبێ بنەڕەت | ڕێڕەوی پێویست بۆ ڕوبریکێکی دروست لەگەڵ هەڵسەنگێنەری pinکراو و پێوەری پێویستی پێوانەکراو. |
evaluation.baseline_required |
boolean |
true |
بۆ ئەم گرێبەستە تەنها true. پێش گۆڕینی کێش بنەمای دەستنەخوراو هەڵبسەنگێنە. |
output.directory |
string |
پێویست / بەبێ بنەڕەت | بوخچەی ڕاکردنی نوێی خاوەنداریکراوی پێویست. ڕاکردنی ئێستا تەنها دەتوانرێت بپشکنرێت یان resume بکرێت، run هەرگیز ناینووسێتەوە. |
output.format |
enum |
"safetensors" |
safetensors یان adapters، تەنها لە کاتی پشتگیریی. هەناردەی ئاداپتەر مۆدێلی بنەڕەت و tokenizerی pinکراو دەوێت. |
| خانە یان ڕووکار | جۆر یان ئەنجام | بنەڕەت یان کۆدی دەرچوون | هەڵسوکەوت و پشتڕاستکردنەوە |
|---|---|---|---|
schema_version |
string |
"1.0" |
schemaی ڕوبریک 1.0؛ لە وەشانی بڵاوکردنەوەی پاکێج جیاوازە. |
name |
string |
پێویست / بەبێ بنەڕەت | ناوی ڕوبریکی پێویستی بەتاڵنەبوو کە لە ڕاپۆرتدا بەکاردێت. |
scale.minimum |
number |
0 |
سنووری خوارەوەی نمرەی normalized: بۆ ئەم schemaیە 0. |
scale.maximum |
number |
1 |
سنووری سەرەوەی نمرەی normalized: بۆ ئەم schemaیە 1. |
criteria |
object[] |
پێویست / بەبێ بنەڕەت | لیستی پێویستی بەتاڵنەبوو. هەموو پێوەری پێویست دەبێت تێپەڕ ببن؛ ID دووبارە نابێت. |
criteria[].id |
string |
پێویست / بەبێ بنەڕەت | ناسنامەی جێگیری پێویستی هەڵسەنگاندن کە لە ڕاپۆرتدا دەپارێزرێت. |
criteria[].description |
string | null |
null |
دەقی ڕوونکەرەوەی هەڵبژاردەیی. وەسف هەڵسەنگێنەری مانایی نییە. |
criteria[].metric |
string |
پێویست / بەبێ بنەڕەت | metricی تۆمارکراوی پێویست: exact_match، macro_f1، text_similarity، chrf یان هەڵسەنگێنەری تایبەتی تۆمارکراو. |
criteria[].minimum_score |
number |
پێویست / بەبێ بنەڕەت | ئاستی سنوورداری پێویست لە نێوان 0 و 1. ئاستی نموونە ئەنجامی بەڵێندراو نییە. |
regression.maximum_score_drop |
number |
0.02 |
ڕێگەپێدانی کەمبوونی ڕەهای normalized لە بنەمای دەستنەخوراوەوە، 0 تا 1؛ بۆ هەر پێوەری پارێزراو هەڵدەسەنگێنرێت. |
final_test.path |
string |
پێویست / بەبێ بنەڕەت | پێویستە؛ دەبێت هەمان پەڕگەی سەربەخۆی data.test_path بێت. |
final_test.allow_training_use |
boolean |
false |
تەنها false. ڕێکخستنی ڕێگەپێدەر بە بەکارهێنانی وەڵامی تاقیکردنەوەی لادراو لە ڕاهێنان یان تێخستنی مامۆستا ڕەت بکەرەوە. |
SDK 0.2.0 CONFIGURATION RULES
Unknown fields, duplicate IDs, nonfinite numbers and unsafe paths are rejected.
All model, data, rubric and output paths must resolve inside the project root.
Automatic mode resolves "auto" once; save all resolved values in the plan manifest.
Advanced mode requires explicit method, epochs, learning_rate, batch_size,
gradient_accumulation_steps, max_sequence_length and precision.
SFT does not consume LoRA options. LoRA/QLoRA require a compatible adapter.
Model files and pinned revisions are verified within the project root.
Use the CLI for explicit GPU indexes; Python callers can set CUDA_VISIBLE_DEVICES
before starting Python and keep runtime.devices set to auto.
No automatic execution of untrusted model code, shell commands or plugins.
All three budgets must be finite, positive and explicitly supplied.
Storage includes owned checkpoints, datasets and artifacts, not unrelated files.
Held-out test data must not be sent to the teacher or used for weight updates.
CLI overrides are limited to the documented flags; never silently override a plan.
RUBRIC RULES
Every criterion requires a registered metric and minimum_score; descriptions are not semantic evaluators.
Built-in metrics: exact_match, macro_f1, text_similarity and chrf.
Custom deterministic scorers use register_evaluator(name, scorer, version="...").
Evaluator versions and scoring configuration are pinned in the plan.
0 <= minimum_score <= 1 for the example's normalized scale.
All required criteria must pass; do not average away a failed criterion.
The final_test.path must match data.test_path; allow_training_use must be false.
Scores and budgets in examples are requested settings, not measured results.