GPTQ
کوانتایزکردنی GPTQ
پێش بەردەستبوونی داواکاری، وردی، بیرگە، کۆنتێکست و گونجانی کاتی کارکردن لەسەر بنەمای بەڵگەی وەشان هەڵدەسەنگێندرێن.
کوانتایزکردن
BF16 / FP16سەرچاوە
FP8 / INT8VRAMی خەمڵێنراو
INT4بۆ هەر وەشانێک پشتڕاستکراوەتەوە
دیاریکردنی GPU
مۆدێلکێشەکان و کاشی KV
دۆخی پشتڕاستکردنەوەکۆنتێکست و هاوکاتی
پاکێجکردنی کاتی کارکردنvLLM, SGLang
ئامانجی پاراستنی کوالێتی
کوانتایزکردنخەمڵێنراوە تا لە کاتی ئەندازیاری پێوانە بکرێت
VRAMی خەمڵێنراوبۆ هەر وەشانێک پشتڕاستکراوەتەوە
پاکێجکردنی کاتی کارکردنپێوانەکراو