اصلي منځپانګې ته ورټوپ کړئ
د روزنې لارښود څپرکي ټول اسناد

د باور وړ روزنیز معلومات چمتو کړئ

محلي JSONL روزنیز او ارزنیز فایلونه د څرګندو وېشونو، تایید او د محرمیت کنټرولونو سره چمتو کړئ.

په ټولو ژبو کې امرونه او کوډ په انګلیسي پاتې کېږي. غټ‌توري ځای‌نښې د خپل حساب او پیسې ورکړل شوې دندې له ارزښتونو سره بدلې کړئ؛ ریښتینې کیلي په شریکو notebook-ونو یا لاګونو کې مه نښلوئ.

روزنه او ارزونه جلا وساتئ

روزنیز متن او د prompt/target ارزنیز قطارونه جلا محلي فایلونه لري.
  1. سرچینې منل شوی روزنیز متن
  2. کیفیت تایید، بیاکتنه او د تکرار لرې کول
  3. روزنه هغه بېلګې چې د وزنونو د بدلون لپاره کارېږي
  4. اعتبارسنجونه د ځوابونو له ښوولو پرته پرمختګ ته لارښود
  5. وروستۍ ازموینه محلي جلا ساتل شوی منل

سرچینې: منل شوی روزنیز متن. کیفیت: تایید، بیاکتنه او د تکرار لرې کول. روزنه: هغه بېلګې چې د وزنونو د بدلون لپاره کارېږي. اعتبارسنجونه: د ځوابونو له ښوولو پرته پرمختګ ته لارښود. وروستۍ ازموینه: محلي جلا ساتل شوی منل

محلي JSONL ډیټاسېټونه چمتو کړئ

روزنیزې سرچینې د text ډګر لرونکي JSONL څیزونه لري. د ارزونې JSONL قطارونه prompt، target او criterion ډګرونه لري او په محلي ډول ارزول کېږي. د اعتبارسنجونې او وروستۍ ازموینې فایلونه له روزنې او د ښوونکي له غوښتنو جلا وساتئ. د ډیټاسېټ چمتو کول قطارونه تاییدوي، د تنظیم پر مهال وېشونه له تکراره باسي او fingerprint-ونه او ایستل شوي توکي ثبتوي.

  • په هره کرښه کې یو JSON څیز او UTF-8 وکاروئ.
  • د اعتبارسنجونې یا وروستۍ ازموینې ځوابونه په روزنیز متن کې مه ږدئ.
  • د ښوونکي غوښتنې یوازې څرګند منل شوې روزنیزې بېلګې لرلای شي.
بېلګه · python
from fusionpointai_training.client import DatasetManifest

# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
    manifest = DatasetManifest(
        split=item["split"], sha256=item["sha256"],
        bytes=item["bytes"], rows=item["rows"],
    )
    rows = client.download_dataset(ready["id"], manifest)
    print(manifest.split, len(rows), manifest.sha256)
    # Each row has a text field. Do not log private training content.
بېلګه · python
import os
from fusionpointai_training import TrainingClient

client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
    print(
        manifest["split"],
        "rows:", manifest["rows"],
        "bytes:", manifest["bytes"],
        "sha256:", manifest["sha256"],
    )
# These are server-provided manifest values, not a local integrity pass.
بېلګه · python
import hashlib
from pathlib import Path

dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.

د معلوماتو ګډوډي مخنیوی او حساس معلومات خوندي کړئ

د وروستۍ منلو مواد د روزنې له بهیره بهر وساتئ. چېرې چې اړین وي حساس شخصي معلومات لرې کړئ، د کارولو حقونه تایید کړئ او جوړې شوې بېلګې د تېروتنې یا زیانمنو بڼو لپاره وګورئ. د تکرار لرې کول او د فایل fingerprint-ونه د ګډو معلوماتو پېژندلو او بشپړتیا ساتلو کې مرسته کوي؛ خو حقیقت یا د ډیټاسېټ کیفیت نه ثابتوي او د محرمیت ارزونې بدیل نه دي.

  • د فایل digest بشپړتیا ثابتوي، نه حقیقت یا د ډیټاسېټ کیفیت.
  • د شریک notebook بېلګو کې د پېرودونکو اصلي ریکارډونه مه کاروئ.
  • د تکرار وړتیا لپاره سرچینه، اجازه، موضوع او د بدلون مخینه ثبت کړئ.

د وېشونو ساتنه او د ښوونکي شریکول څرګند کړئ

پروژه محلي روزنیز او ارزنیز فایلونه تاییدوي، د ټاکل شوي تنظیم له مخې تکرارونه لرې کوي، د معلوماتو fingerprint-ونه ثبتوي او د وروستۍ ازموینې وېش له اصلاح څخه بهر ساتي. که teacher_sharing په approved_only وي، یوازې منل شوی روزنیز متن مجاز ښوونکي ته لېږل کېدای شي؛ په none کې د پېرودونکي بېلګې محلي پاتې کېږي.

  • د ښوونکي مصنوعي بېلګې د روزنې متن دي، نه د ارزونې ځوابونه.
  • د وروستۍ ازموینې مسیر باید له rubric.final_test.path سره برابر وي.
  • د ډیټاسېټ نسخې او fingerprint-ونه د اجرا په سرچینه کې شامل دي.