هر روز ابزارها و SDK های جدید میاد برای راحت کردن و بخصوص سریع تر کردن انواع مدلهایAI از جمله LLM و VLM و ASR و TTS و ...
یکی از این ابزارها Nexa SDK ست که بخصوص برای on-device inference / لوکال و روی انواع device ها استفاده میشه.
واقعا سریع بود، البته بخاطر اینکه مدلها خیلی quantized شدن بعضیهاشون کیفیتشون نسبت به مدلهای اصلی یک کمی پایینتره. ولی راحت میتونید روی لپتاپ همه مدلها را اجرا کنید برای انواع کارها مثل:
- text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-- to-speech (TTS)
https://github.com/NexaAI/nexa-sdk
یکی از این ابزارها Nexa SDK ست که بخصوص برای on-device inference / لوکال و روی انواع device ها استفاده میشه.
واقعا سریع بود، البته بخاطر اینکه مدلها خیلی quantized شدن بعضیهاشون کیفیتشون نسبت به مدلهای اصلی یک کمی پایینتره. ولی راحت میتونید روی لپتاپ همه مدلها را اجرا کنید برای انواع کارها مثل:
- text generation, image generation, vision-language models (VLM), Audio Language Model, auto-speech-recognition (ASR), and text-- to-speech (TTS)
https://github.com/NexaAI/nexa-sdk