د LLM استنتاج، fine-tuning، څو-مودالي کاري بارونو، کمپیوټري لید او څېړنې لپاره د ډیټابېس له بیې سره GPU کرایه کړئ؛ کره ځانګړنې او د ماډل له مخې د ظرفیت اندازهټاکنه وګورئ.
د ماډل مدیریت شوې انجنیري په ثابته بیه د بدلون پروژه ده. د GPU کوربهتوب جلا زېربنايي خدمت دی.
FusionPointAI / د ماډل انجنیري
تایید شوې ماډل نسخې وټاکئ او د خپلو ژبو، هارډوېیر، اجرا چاپېریال او سپارلو اړتیاوو ته یې برابرې کړئ. د فرمایش وړ هر تنظیم خپله کره بیه تر checkout مخکې ښيي.
وړ ماډل نسخه وټاکئ، د ژبې او GPU غورهتوبونه تنظیم او د بسته ښکته کول، مدیریت شوی کوربهتوب یا دواړه انتخاب کړئ. کره بیه تر فرمایش مخکې ښودل کېږي.
له تایید شوې کورنۍ پیل وکړئ، بیا یې تر یوې نسخې، checkpoint او quantization پورې محدوده کړئ.
تر کاري بار پورې د ځانګړې سپارښتنې مخکې هغه هارډوېیر وګورئ چې حسابوونکی یې پېژني. د کتلاګ توکي له ژوندۍ موجودۍ او تایید شوو بیو جلا دي.
د لویو ماډلونو، اوږد context استنتاج، درنې fine-tuning او د لوړې حافظې AI کاري بارونو لپاره تر ټولو مناسب.
د quantization سره د 70B کچې استنتاج، LoRA fine-tuning او لوړ throughput سرو کولو لپاره ښه برابر دی.
د quantization سره د 70B کچې استنتاج، LoRA fine-tuning او لوړ throughput سرو کولو لپاره ښه برابر دی.
د quantization سره د 70B کچې استنتاج، LoRA fine-tuning او لوړ throughput سرو کولو لپاره ښه برابر دی.
د منځنۍ کچې LLM-ونو، انځور جوړولو، کمپیوټري لید او لګښتته پام لرونکي تولیدي استنتاج لپاره متوازن.
د کوچني ماډل استنتاج، embedding، بیا درجهبندي، پراختیا او لګښتحساس AI خدمتونو لپاره اغېزمن.
د محصول ټاکلو لپاره کتلاګ وکاروئ؛ کله چې د ماډل اندازه، context اوږدوالی یا بودجه مهمه وي، سپارښتونکی وچلوئ.
د لویو ماډلونو، اوږد context استنتاج، درنې fine-tuning او د لوړې حافظې AI کاري بارونو لپاره تر ټولو مناسب.
حسابوونکی د موجودۍ تر چاڼ مخکې د ماډل وزنونه، د اړتیا په صورت کې KV cache، د اجرا چاپېریال کاري ځای، د کاري بار اضافي اړتیا او د تولید اضافي ظرفیت اټکلوي.
د استنتاج او روزنې اندازه جلا ټاکل کېږي. د روزنې په اټکل کې د اصلاحوونکي حالت، gradients یا د adapter حالت، activations، کاري ځای او د جوړښت محدودیتونه شامل دي.
ټیټ precision د ماډل د وزنونو حافظه کمولای شي، خو د quantization metadata، د اجرا چاپېریال کاري ځای او تخنیکي محدودیتونه لا هم پر ځای دي.
د بیهلیک غوښتنې د ماډل snapshot، د حسابوونکي نسخې، ټاکل شوي تنظیم او د بیې نسخې سره تړل کېږي؛ نو د کتلاګ راتلونکي بدلونونه بیهلیک نه بدلوي.
اټکلکوونکی د ماډل وزنونه، KV cache، د اجرا چاپېریال کاري ځای، batch جوړول، د کاري بار اضافي اړتیا او د خوندیتوب اضافي ظرفیت سره یوځای حسابوي.
هو. Fine-tuning او روزنه gradients، د اصلاحوونکي حالت، activations او د جوړښت محدودیتونه رانغاړي.
هو. د پارامېټرونو شمېر او د معمارۍ جزئیات دننه کولای شئ؛ د ټیټ باور اټکلونه په نښه کېږي.
نه. اټکلي پایلې او اندازه شوي د معیار معلومات جلا نښه کېږي.
نه. نهشتون لرونکی هارډوېیر په کتلاګ کې پاتې کېدای شي، خو د سمدستي پېرودلو وړ موجودي په توګه نه وړاندې کېږي.
د GPU کرایې بیې د ټاکل شوې ښودنیزې پیسې په بڼه، د تنظیم شوو اړولو او ګردولو اصولو له مخې ښودل کېږي. ستاسو د کرایې بیهلیک د تایید شوې کرایې د بیې نسخې له مخې تاییدېږي؛ د ماډل د بدلون بیهلیکونه په USD کې پاتې کېږي. هغه تنظیمونه چې تایید شوې بیه یا تخنیکي ارزونه ونه لري، دا مهال د فرمایش وړ نه دي.
