په ټولو ژبو کې امرونه او کوډ په انګلیسي پاتې کېږي. غټتوري ځاینښې د خپل حساب او پیسې ورکړل شوې دندې له ارزښتونو سره بدلې کړئ؛ ریښتینې کیلي په شریکو notebook-ونو یا لاګونو کې مه نښلوئ.
روزنه او ارزونه جلا وساتئ
- سرچینې منل شوی روزنیز متن
- کیفیت تایید، بیاکتنه او د تکرار لرې کول
- روزنه هغه بېلګې چې د وزنونو د بدلون لپاره کارېږي
- اعتبارسنجونه د ځوابونو له ښوولو پرته پرمختګ ته لارښود
- وروستۍ ازموینه محلي جلا ساتل شوی منل
سرچینې: منل شوی روزنیز متن. کیفیت: تایید، بیاکتنه او د تکرار لرې کول. روزنه: هغه بېلګې چې د وزنونو د بدلون لپاره کارېږي. اعتبارسنجونه: د ځوابونو له ښوولو پرته پرمختګ ته لارښود. وروستۍ ازموینه: محلي جلا ساتل شوی منل
محلي JSONL ډیټاسېټونه چمتو کړئ
روزنیزې سرچینې د text ډګر لرونکي JSONL څیزونه لري. د ارزونې JSONL قطارونه prompt، target او criterion ډګرونه لري او په محلي ډول ارزول کېږي. د اعتبارسنجونې او وروستۍ ازموینې فایلونه له روزنې او د ښوونکي له غوښتنو جلا وساتئ. د ډیټاسېټ چمتو کول قطارونه تاییدوي، د تنظیم پر مهال وېشونه له تکراره باسي او fingerprint-ونه او ایستل شوي توکي ثبتوي.
- په هره کرښه کې یو JSON څیز او UTF-8 وکاروئ.
- د اعتبارسنجونې یا وروستۍ ازموینې ځوابونه په روزنیز متن کې مه ږدئ.
- د ښوونکي غوښتنې یوازې څرګند منل شوې روزنیزې بېلګې لرلای شي.
from fusionpointai_training.client import DatasetManifest
# Continue with an authenticated client and an owned session.
ready = client.prepare_session(session["id"])
for item in ready["datasets"]:
manifest = DatasetManifest(
split=item["split"], sha256=item["sha256"],
bytes=item["bytes"], rows=item["rows"],
)
rows = client.download_dataset(ready["id"], manifest)
print(manifest.split, len(rows), manifest.sha256)
# Each row has a text field. Do not log private training content.
import os
from fusionpointai_training import TrainingClient
client = TrainingClient(api_key=os.environ["FUSIONPOINTAI_API_KEY"])
session = client.get_session(os.environ["FUSIONPOINTAI_SESSION_ID"])
for manifest in session["datasets"]:
print(
manifest["split"],
"rows:", manifest["rows"],
"bytes:", manifest["bytes"],
"sha256:", manifest["sha256"],
)
# These are server-provided manifest values, not a local integrity pass.
import hashlib
from pathlib import Path
dataset_path = Path("train.jsonl")
expected_bytes = int(input("Manifest bytes: "))
expected_rows = int(input("Manifest rows: "))
expected_sha256 = input("Manifest SHA-256: ").strip()
body = dataset_path.read_bytes()
actual_sha256 = hashlib.sha256(body).hexdigest()
actual_rows = sum(1 for line in body.splitlines() if line)
print("Byte count matches:", len(body) == expected_bytes)
print("Row count matches:", actual_rows == expected_rows)
print("SHA-256 matches:", actual_sha256 == expected_sha256)
# Use values copied from the session manifest; do not log dataset contents.
د معلوماتو ګډوډي مخنیوی او حساس معلومات خوندي کړئ
د وروستۍ منلو مواد د روزنې له بهیره بهر وساتئ. چېرې چې اړین وي حساس شخصي معلومات لرې کړئ، د کارولو حقونه تایید کړئ او جوړې شوې بېلګې د تېروتنې یا زیانمنو بڼو لپاره وګورئ. د تکرار لرې کول او د فایل fingerprint-ونه د ګډو معلوماتو پېژندلو او بشپړتیا ساتلو کې مرسته کوي؛ خو حقیقت یا د ډیټاسېټ کیفیت نه ثابتوي او د محرمیت ارزونې بدیل نه دي.
- د فایل digest بشپړتیا ثابتوي، نه حقیقت یا د ډیټاسېټ کیفیت.
- د شریک notebook بېلګو کې د پېرودونکو اصلي ریکارډونه مه کاروئ.
- د تکرار وړتیا لپاره سرچینه، اجازه، موضوع او د بدلون مخینه ثبت کړئ.
د وېشونو ساتنه او د ښوونکي شریکول څرګند کړئ
پروژه محلي روزنیز او ارزنیز فایلونه تاییدوي، د ټاکل شوي تنظیم له مخې تکرارونه لرې کوي، د معلوماتو fingerprint-ونه ثبتوي او د وروستۍ ازموینې وېش له اصلاح څخه بهر ساتي. که teacher_sharing په approved_only وي، یوازې منل شوی روزنیز متن مجاز ښوونکي ته لېږل کېدای شي؛ په none کې د پېرودونکي بېلګې محلي پاتې کېږي.
- د ښوونکي مصنوعي بېلګې د روزنې متن دي، نه د ارزونې ځوابونه.
- د وروستۍ ازموینې مسیر باید له rubric.final_test.path سره برابر وي.
- د ډیټاسېټ نسخې او fingerprint-ونه د اجرا په سرچینه کې شامل دي.