کوانتایزکردن
کوانتایزکردن
پێش بەردەستبوونی داواکاری، وردی، بیرگە، کۆنتێکست و گونجانی کاتی کارکردن لەسەر بنەمای بەڵگەی وەشان هەڵدەسەنگێندرێن.
کوانتایزکردن
BF16 / FP16سەرچاوە
FP8 / INT8VRAMی خەمڵێنراو
INT4بۆ هەر وەشانێک پشتڕاستکراوەتەوە
دیاریکردنی GPU
مۆدێلکێشەکان و کاشی KV
دۆخی پشتڕاستکردنەوەکۆنتێکست و هاوکاتی
پاکێجکردنی کاتی کارکردنvLLM, SGLang
ئامانجی پاراستنی کوالێتی
کوانتایزکردنخەمڵێنراوە تا لە کاتی ئەندازیاری پێوانە بکرێت
VRAMی خەمڵێنراوبۆ هەر وەشانێک پشتڕاستکراوەتەوە
پاکێجکردنی کاتی کارکردنپێوانەکراو
نرخدانی ڕوون
لە ئێستادا بۆ داواکردن بەردەست نییە