মূল content-এ যান
Training guide-এর অধ্যায় সব নথিপত্র

মডেল প্রশিক্ষণের টিউটোরিয়াল ও সম্পূর্ণ উদাহরণ

জার্মান ভাষা, শ্রেণিবিন্যাস, অনুবাদ, ব্যক্তিগত ডেটা, hosting, Colab, একাধিক GPU ও export-এর জন্য কাজ করে দেখানো SDK recipe।

সব ভাষাতেই command ও code ইংরেজিতে থাকবে। বড় হাতের অক্ষরে লেখা placeholder নিজের account ও paid job-এর মান দিয়ে বদলান; shared notebook বা log-এ আসল key দেবেন না।

সম্পূর্ণ training recipe তৈরি করুন

কার্যকর উদাহরণে শুধু prompt নয়, data, compute ও গ্রহণযোগ্যতার শর্তও থাকে।
  1. কাজ ভাষা বা ব্যবসায়িক লক্ষ্য
  2. Input Train, validation ও গোপন test
  3. Runtime সামঞ্জস্যপূর্ণ compute ও storage
  4. ফল গৃহীত মানদণ্ড ও বৈধ output

কাজ: ভাষা বা ব্যবসায়িক লক্ষ্য. Input: Train, validation ও গোপন test. Runtime: সামঞ্জস্যপূর্ণ compute ও storage. ফল: গৃহীত মানদণ্ড ও বৈধ output

জার্মানের জন্য আলাদা মডেল প্রশিক্ষণ দিন

Configuration অধ্যায়ের সম্পূর্ণ Automatic configuration দিয়ে শুরু করুন। আপনার সামঞ্জস্যপূর্ণ student model, পর্যালোচিত প্রশিক্ষণ-উপকরণ, স্বাধীন validation ও final test set এবং জার্মান rubric-সহ প্রকল্প ডিরেক্টরি তৈরি করুন। Provider plan-এ থাকা reference model বেছে নিন। SDK-র উচিত পূর্বশর্ত ও বিষয় প্রস্তাব করা, baseline স্থাপন করা এবং অনুমোদিত বাজেটের মধ্যে উন্নতি করা।

  • নিচের JSON ইংরেজিতে data format দেখায়; প্রকৃত data file-এ আপনার পর্যালোচিত জার্মান লেখা, প্রতি লাইনে একটি object, রাখুন।
  • চালানোর প্রকল্প ফাইল হিসেবে recipe-র অংশ নয়, সম্পূর্ণ Automatic configuration ব্যবহার করুন।
  • Comprehension, writing, translation ও reasoning আলাদাভাবে মাপুন। ছোট student প্রতিটি কাজে teacher-এর সমান হবে—এমন নিশ্চয়তা নেই।
উদাহরণ · jsonl
{"text":"Customer: My invoice total is incorrect. Category: billing"}
{"text":"Customer: I cannot sign in. Category: account_access"}
{"text":"Customer: The application closes when I upload a file. Category: technical_issue"}
উদাহরণ · bash
# Full Automatic German-language workflow.
# 1. Put a compatible local model in german-project/models/student/.
# 2. Save the complete project configuration as german-project/training.json.
# 3. Add independent train/validation/test files and the reviewed german rubric.
# 4. Replace provider/reference placeholders using your included model catalogue.
fpai-training doctor --config ./german-project/training.json
fpai-training plan --config ./german-project/training.json --dry-run
# The plan must break the objective into prerequisites and measurable topics.
fpai-training run --config ./german-project/training.json
fpai-training evaluate --run ./german-project/runs/german-001 --split test
fpai-training export --run ./german-project/runs/german-001 --format safetensors
# Evaluate comprehension, writing, translation and reasoning separately.
# A passed classifier does not prove all German-language capabilities.

ব্যবসায়িক কাজ অনুযায়ী প্রকল্প মানিয়ে নিন

পরের JSON উদাহরণগুলো configuration-এর অংশ, সম্পূর্ণ project file নয়। সম্পূর্ণ Automatic বা Advanced configuration নকল করে নাম-উল্লেখ করা section-গুলো অংশ দিয়ে বদলান; identity, model, teacher, runtime এবং সীমিত budget অক্ষুণ্ণ রেখে পুরো file যাচাই করুন। Classification ও translation-এর topic, data এবং গ্রহণযোগ্যতার মানদণ্ড আলাদা হওয়া দরকার।

  • Support classification-এর জন্য প্রতি শ্রেণির precision ও recall, macro F1, class balance এবং অস্পষ্ট case জানান।
  • Translation-এর জন্য স্বাধীন দ্বিভাষিক উদাহরণে অর্থ, পরিভাষা, নাম, সংখ্যা ও ভঙ্গি যাচাই করুন।
  • teacher_sharing none হলে গ্রাহকের record স্থানীয় থাকে। নিষিদ্ধ শেয়ারিং ছাড়া লক্ষ্য পূরণ সম্ভব না হলে data upload না করে ব্যাখ্যাসহ থামুন।
উদাহরণ · json
{
  "schema_version": "1.0", "mode": "automatic",
  "objective": "Classify support messages into billing, account_access or technical_issue.",
  "model": {"path": "./models/student", "adapter": "transformers-causal-lm", "revision": null},
  "teacher": {"provider": "openai", "reference_model_id": 123},
  "data": {"sources": ["./data/train.jsonl"], "teacher_sharing": "none", "validation_path": "./data/validation.jsonl", "test_path": "./data/test.jsonl", "deduplicate": true, "seed": 42},
  "runtime": {"target": "customer_datacenter", "devices": "auto", "distributed": {"backend": "none", "nodes": 1}},
  "training": {"method": "auto"},
  "curriculum": {"topics": ["intent", "ambiguous_requests", "class_balance"], "max_improvement_cycles": 3, "stop_on_regression": true},
  "budgets": {"max_training_minutes": 120, "max_teacher_requests": 100, "max_storage_gib": 20},
  "checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
  "evaluation": {"rubric": "./rubric.json", "baseline_required": true},
  "output": {"directory": "./runs/support-001", "format": "adapters"}
}
উদাহরণ · json
{
  "objective": "Translate English support replies into German while preserving names, numbers and meaning.",
  "curriculum": {"topics": ["terminology", "meaning", "names_and_numbers", "tone"], "max_improvement_cycles": 3, "stop_on_regression": true},
  "evaluation": {"rubric": "./rubrics/translation.json", "baseline_required": true},
  "data": {"sources": ["./data/translation-train.jsonl"], "validation_path": "./data/translation-validation.jsonl", "test_path": "./data/translation-test.jsonl", "teacher_sharing": "approved_only"},
  "output": {"directory": "./runs/translation-001", "format": "safetensors"}
}
উদাহরণ · jsonl
{"prompt":"My invoice total is wrong. Which category applies?","target":"billing","criterion":"support_category"}
{"prompt":"I cannot sign in. Which category applies?","target":"account_access","criterion":"support_category"}
উদাহরণ · json
{
  "schema_version": "1.0",
  "name": "support-category-evaluation",
  "scale": {"minimum": 0, "maximum": 1},
  "criteria": [
    {"id": "support_category", "description": "Match the expected category.", "metric": "macro_f1", "minimum_score": 0.85}
  ],
  "regression": {"maximum_score_drop": 0.02},
  "final_test": {"path": "./data/test.jsonl", "allow_training_use": false}
}

উপযুক্ত অবকাঠামোয় চালিয়ে নিরাপদে সরবরাহ করুন

এই runtime উদাহরণগুলোও সম্পূর্ণ পর্যালোচিত configuration-এর অংশ। FusionPointAI Hosting, গ্রাহকের data center এবং সামঞ্জস্যপূর্ণ Colab runtime compute দেয়; কোনো নাম বেছে নিলেই GPU বরাদ্দ, notebook credit কেনা বা অন্য runtime-এর সামঞ্জস্য নিশ্চিত হয় না। SDK সেই runtime-এ student model লোড ও প্রশিক্ষণ দেয়। সাময়িক notebook বন্ধ হওয়ার আগে output সংরক্ষণ করুন।

  • Hosted উদাহরণ: চুক্তিবদ্ধ compute environment, অনুমোদিত storage ও account entitlement ব্যবহার করুন; প্রযোজ্য হলে hosting আলাদা বাণিজ্যিক আইটেম।
  • Colab উদাহরণ: notebook secret-এ API key রাখুন, উপলভ্য GPU ও storage যাচাই করুন এবং session বন্ধ হওয়ার আগে বৈধ checkpoint অনুমোদিত স্থায়ী storage-এ নিন।
  • Distributed উদাহরণ: অনুমোদিত coordinator ও authenticated node communication, একই pinned environment এবং সম্মত rendezvous/rank মান ব্যবহার করুন। Launcher শুধু এই প্রকল্পের worker নিয়ন্ত্রণ করবে।
উদাহরণ · json
{
  "runtime": {"target": "fusionpointai_hosting", "devices": "auto", "distributed": {"backend": "none", "nodes": 1}},
  "budgets": {"max_training_minutes": 60, "max_teacher_requests": 500, "max_storage_gib": 20},
  "output": {"directory": "./runs/hosted-001", "format": "safetensors"}
}
উদাহরণ · json
{
  "runtime": {"target": "colab", "devices": [0], "distributed": {"backend": "none", "nodes": 1}},
  "checkpoints": {"every_steps": 50, "keep_last": 2, "resume_validation": "strict"},
  "budgets": {"max_training_minutes": 30, "max_teacher_requests": 100, "max_storage_gib": 10},
  "output": {"directory": "./runs/colab-001", "format": "adapters"}
}
উদাহরণ · json
{
  "runtime": {"target": "customer_datacenter", "devices": [0, 1], "distributed": {"backend": "ddp", "nodes": 2}},
  "checkpoints": {"every_steps": 100, "keep_last": 3, "resume_validation": "strict"},
  "output": {"directory": "./runs/distributed-001", "format": "safetensors"}
}
উদাহরণ · bash
# Export a validated adapter or full model, not teacher weights.
fpai-training evaluate --run ./german-project/runs/support-001 --split test
fpai-training export --run ./german-project/runs/support-001 --format adapters
# Inspect artifact-manifest.json, pinned base/tokenizer and evaluation-report.json.
# Reload the package in a fresh compatible runtime before changing live inference.
# Export does not deploy, allocate hosting, or upload to an external model hub.