K-EXAONE 2.0 750B-A37B-এর FP8 পদ্ধতিতে তৈরি উৎপাদন প্যাকেজ

রূপান্তরের উৎসধারা

উৎস চেকপয়েন্টের নির্ভুলতা

সম্মত ইঞ্জিনিয়ারিং কাজের সময় নির্ধারিত হবে

এই রিলিজে একাধিক নিবন্ধিত চেকপয়েন্ট ফরম্যাট আছে। ইঞ্জিনিয়ারিং শুরুর আগে পরিসর যাচাইয়ের সময় নির্দিষ্ট ইনপুট চেকপয়েন্ট ও রিভিশন ঠিক করতে হবে।

লক্ষ্য নির্ভুলতা

ক্যাটালগে নির্ধারিত

প্যাকেজের স্পেসিফিকেশনে FP8 লক্ষ্য ফরম্যাট হিসেবে নির্ধারিত। এটি ইঞ্জিনিয়ারিং স্পেসিফিকেশন, সম্পন্ন আর্টিফ্যাক্ট বা পরিমাপ করা মানের প্রমাণ নয়।

সরবরাহের পরিসর

সম্মত ইঞ্জিনিয়ারিং কাজের সময় নির্ধারিত হবে

এই ক্রয়ে নির্দিষ্ট রিলিজের তালিকাভুক্ত ইঞ্জিনিয়ারিং ও মূল্যায়নের কাজ নেওয়া হয়। নির্বাচিত সরবরাহের ধরন ও গৃহীত দরপত্রে হস্তান্তরের বিবরণ নির্ধারিত হয়; আগে থেকেই সম্পন্ন আর্টিফ্যাক্ট সঙ্গে সঙ্গে ডাউনলোড করার সুযোগ এটি নয়।

• যাচাইকৃত রূপান্তরিত মডেল আর্টিফ্যাক্ট
• Tokenizer ও মডেল কনফিগারেশন
• নির্বাচিত সরবরাহ-পদ্ধতির runtime কনফিগারেশন
• Checksum ও version manifest
• Benchmark প্রতিবেদন

ডাউনলোড: ইঞ্জিনিয়ারিং ও যাচাই শেষে উৎস লাইসেন্স সাপেক্ষে সম্মত মডেল আর্টিফ্যাক্ট, টোকেনাইজার/কনফিগারেশন, সংস্করণ ম্যানিফেস্ট এবং চেকসাম সরবরাহ।

হোস্ট: নির্বাচিত হোস্টিং কনফিগারেশনে সম্মত ফলাফল ডিপ্লয় করা। GPU বরাদ্দ ও পুনরাবৃত্ত চার্জ এককালীন ইঞ্জিনিয়ারিং খরচ থেকে আলাদা করে দরপত্রে দেওয়া হয়।

ডাউনলোড + হোস্ট: সম্মত আর্টিফ্যাক্ট হস্তান্তর ও হোস্ট করা ডিপ্লয়মেন্ট, যার প্রতিটির জন্য নিজস্ব লাইসেন্স ও হোস্টিং শর্ত প্রযোজ্য।

মূল্যায়ন: কনফিগার করা মূল্যায়নের কাজ ও তার প্রতিবেদন। পরিমাপের আগে কর্মক্ষমতার কোনো ফল বা মান অক্ষুণ্ণ থাকার হার নিশ্চিত করা হয় না।

লক্ষ্য GPU

ক্যাটালগে নির্ধারিত

কনফিগারেশনটি 7 × NVIDIA H200 SXM 141GB লক্ষ্য করে। রেফারেন্স স্পেসিফিকেশন বা আনুমানিক উপযোগিতা ভাড়ার GPU মজুত সংরক্ষণ করে না; বরাদ্দের আগে মজুত ও ডিপ্লয়মেন্টের উপযোগিতা যাচাই করা হয়।

মেমরিতে ধারণক্ষমতা

সম্মত ইঞ্জিনিয়ারিং কাজের সময় নির্ধারিত হবে

এগুলো নির্বাচিত GPU সংখ্যা, কনটেক্সট ও ওয়ার্কলোডের জন্য সংরক্ষিত আকার-সংক্রান্ত অনুমান; পরিমাপ করা ডিপ্লয়মেন্ট ফল নয়। রানটাইমের অতিরিক্ত চাহিদা ও বাস্তব ওয়ার্কলোডের আচরণ যাচাই করা দরকার।

মডেলের ওয়েটের আনুমানিক আকার: 733.42 GB

KV ক্যাশের আনুমানিক আকার: 10.71 GB

প্রয়োজনীয় VRAM-এর অনুমান: 980.97 GB

উপলভ্য VRAM-এর অনুমান: 987 GB

বেঞ্চমার্কের প্রমাণ

সম্মত ইঞ্জিনিয়ারিং কাজের সময় নির্ধারিত হবে

এই প্যাকেজের জন্য সম্পূর্ণ পরিমাপ করা বেঞ্চমার্ক নথিভুক্ত নেই। সম্মত মূল্যায়নে নির্দিষ্ট ফল, হার্ডওয়্যার, রানটাইম ও সেটিংস ব্যবহার করে পরিমাপ নেওয়া হবে। অনুমানকে পরিমাপ করা ফল হিসেবে দেখানো হয় না।

সরবরাহের ধরন

ক্যাটালগে নির্ধারিত

ডাউনলোড + হোস্টিং

ইঞ্জিনিয়ারিংয়ের অবস্থা কী বোঝায়

ইঞ্জিনিয়ারিংয়ের জন্য প্রস্তুত: কনফিগার করা ইঞ্জিনিয়ারিং কর্মপ্রবাহ ও বাণিজ্যিক উপাদানের পরিসর নির্ধারণ করা যায়। এর মানে ফলস্বরূপ আর্টিফ্যাক্ট ইতিমধ্যে তৈরি বা বেঞ্চমার্ক করা হয়েছে, তা নয়।

সরবরাহের সীমাবদ্ধতা

নির্ধারিত সরবরাহ: ডাউনলোড + হোস্টিং

সরবরাহের বিকল্প: প্যাকেজ ডাউনলোড / FusionPointAI-তে হোস্টিং / ডাউনলোড + হোস্টিং

উৎস ও লাইসেন্স

প্রকাশকের অফিসিয়াল উৎস

লাইসেন্সের শর্ত

বিস্তারিত: K-EXAONE 2.0 750B-A37B

সংশ্লিষ্ট মডেলের সঙ্গে তুলনা

রূপান্তরের উৎসধারা

উৎস সংখ্যাগত প্রিসিশন: সম্মত ইঞ্জিনিয়ারিং কাজের সময় নির্ধারিত হবে

লক্ষ্য সংখ্যাগত প্রিসিশন: FP8

রূপান্তরের কার্যক্রম: FP8 কোয়ান্টাইজেশন, রানটাইম প্যাকেজ তৈরি, মূল্যায়ন ও benchmark

GPU সংযোগবিন্যাস

লক্ষ্য GPU: NVIDIA H200 SXM 141GB

GPU সংখ্যা: 7

রানটাইম প্যাকেজ তৈরি: transformers