اگه لپتاپت کارت گرافیک گندهای نداره و فکر میکنی مدلهای قوی مالِ تو نیستن، این یکی رو از دست نده 👇
تیم Unsloth مدل Qwen3.8 با ۲۷ میلیارد پارامتر رو فشرده کرده و نسخههاش رو روی Hugging Face گذاشته. کوچیکترین فایلهاش بین ۶ تا ۷ گیگابایتن — یعنی چیزی که تا دیروز فکر میکردی کارت گرافیک گرونقیمت میخواد، الان حجمش اندازهی دو تا فیلمه.
ایدهی پشتش قشنگه. تا حالا فشردهسازی مدلها (quantization) این شکلی بود که کل مدل یکنواخت کوچیک میشد و بهازاش دقت از دست میرفت. کاری که Unsloth میکنه اینه که همهی بخشهای مدل رو همارزش نمیبینه: بخشهای حساس رو با دقت بالا نگه میداره و بخشهایی که کماثرترن رو شدیدتر فشرده میکنه.
چند تا عدد واقعی:
▪️ تا الان بیشتر از ۶.۳ میلیون بار دانلود شده و ۲۶۵۰ تا لایک روی Hugging Face داره
▪️ لایسنسش Apache 2.0 هست، یعنی آزاد — حتی برای استفادهی تجاری
▪️ با Ollama و LM Studio و llama.cpp اجرا میشه
▪️ خودِ Unsloth میگه نسخهی Dynamic 3.0 توی حجم برابر بیش از ۱۰٪ دقت بهتر میده
ولی سه تا نکته که توی صفحهی مدل نوشته نشده و بهتره بدونی:
▪️ حجم فایل با رمی که واقعاً لازم داری یکی نیست. سیستمعامل خودش چند گیگ برمیداره و برای متنِ مکالمه هم حافظه میره. یعنی روی یه دستگاه ۸ گیگابایتی عملاً نمیتونی فایل ۷ گیگی رو بالا بیاری؛ واقعبینانهش نسخهی ۶ گیگیه، اونم وقتی برنامهی سنگین دیگهای باز نباشه
▪️ نسخههایی که از همه بیشتر فشرده شدن (اسمشون با IQ1 شروع میشه) محسوس ضعیفتر جواب میدن: بیشتر اشتباه میکنن و جوابشون سطحیتره. صفحهی مدل هیچ هشداری دربارش نداده، ولی هرچی فشردهتر، افت بیشتر. اگه رم بیشتری داری، حتماً نسخهی بزرگتر رو بردار
▪️ اون عدد ۱۰٪ ادعای خودِ سازندهست و هنوز جای مستقلی تأییدش نکرده
یه نکتهی کاربردی هم خودشون گفتن: برای حالت استدلالی temperature رو ۱.۰ بذار، برای حالت معمولی ۰.۷.
تیم Unsloth مدل Qwen3.8 با ۲۷ میلیارد پارامتر رو فشرده کرده و نسخههاش رو روی Hugging Face گذاشته. کوچیکترین فایلهاش بین ۶ تا ۷ گیگابایتن — یعنی چیزی که تا دیروز فکر میکردی کارت گرافیک گرونقیمت میخواد، الان حجمش اندازهی دو تا فیلمه.
ایدهی پشتش قشنگه. تا حالا فشردهسازی مدلها (quantization) این شکلی بود که کل مدل یکنواخت کوچیک میشد و بهازاش دقت از دست میرفت. کاری که Unsloth میکنه اینه که همهی بخشهای مدل رو همارزش نمیبینه: بخشهای حساس رو با دقت بالا نگه میداره و بخشهایی که کماثرترن رو شدیدتر فشرده میکنه.
چند تا عدد واقعی:
▪️ تا الان بیشتر از ۶.۳ میلیون بار دانلود شده و ۲۶۵۰ تا لایک روی Hugging Face داره
▪️ لایسنسش Apache 2.0 هست، یعنی آزاد — حتی برای استفادهی تجاری
▪️ با Ollama و LM Studio و llama.cpp اجرا میشه
▪️ خودِ Unsloth میگه نسخهی Dynamic 3.0 توی حجم برابر بیش از ۱۰٪ دقت بهتر میده
ولی سه تا نکته که توی صفحهی مدل نوشته نشده و بهتره بدونی:
▪️ حجم فایل با رمی که واقعاً لازم داری یکی نیست. سیستمعامل خودش چند گیگ برمیداره و برای متنِ مکالمه هم حافظه میره. یعنی روی یه دستگاه ۸ گیگابایتی عملاً نمیتونی فایل ۷ گیگی رو بالا بیاری؛ واقعبینانهش نسخهی ۶ گیگیه، اونم وقتی برنامهی سنگین دیگهای باز نباشه
▪️ نسخههایی که از همه بیشتر فشرده شدن (اسمشون با IQ1 شروع میشه) محسوس ضعیفتر جواب میدن: بیشتر اشتباه میکنن و جوابشون سطحیتره. صفحهی مدل هیچ هشداری دربارش نداده، ولی هرچی فشردهتر، افت بیشتر. اگه رم بیشتری داری، حتماً نسخهی بزرگتر رو بردار
▪️ اون عدد ۱۰٪ ادعای خودِ سازندهست و هنوز جای مستقلی تأییدش نکرده
یه نکتهی کاربردی هم خودشون گفتن: برای حالت استدلالی temperature رو ۱.۰ بذار، برای حالت معمولی ۰.۷.