FP8
FP8 क्वांटाइज़ेशन
ऑर्डर उपलब्ध होने से पहले रिलीज़ साक्ष्य से परिशुद्धता, मेमोरी, संदर्भ और रनटाइम अनुकूलता का मूल्यांकन किया जाता है।
क्वांटाइज़ेशन
BF16 / FP16स्रोत
FP8 / INT8अनुमानित VRAM
INT4प्रत्येक रिलीज़ के लिए सत्यापित
GPU चयन
मॉडलवेट और KV कैश
सत्यापन स्थितिसंदर्भ और समवर्तीता
रनटाइम पैकेजिंगvLLM, SGLang
गुणवत्ता संरक्षण लक्ष्य
क्वांटाइज़ेशनइंजीनियरिंग मापन तक अनुमानित
अनुमानित VRAMप्रत्येक रिलीज़ के लिए सत्यापित
रनटाइम पैकेजिंगमापे और प्रमाणित परिणाम प्रोजेक्ट के साथ दिए जाते हैं।