یه مدل آسیایی جدید اومده به اسم MiniMax-01 که از معماری معروف Transformer استفاده نمیکنه و با Lightning Attention کار میکنه.
‏ساده اینکه مدل‌های زبانی از Attention «توجه» برای پیدا کردن ارتباط بین کلمات استفاده میکنن.

‏مکانیسم متداول Softmax که تو مدل‌های GPT استفاده میشه و خوب کار میکنه مشکلش اینه هرچقدر متن یا جمله طولانی‌تر بشه سرعت پردازش مدل کمتر میشه و حافظه بیشتری هم لازم داره.

‏این Lightning Attention اما این مشکل رو حل میکنه و چه جمله ۱۰ کلمه‌ای بهش بدی و چه کتاب ۱۰۰۰ صفحه‌ای سرعت پردازش مدل تقریبا ثابت هست.

‏در واقع این یه مدل خیلی مفید برای ارسال پرامپت‌های طولانی همراه با فایل و گرفتن جواب‌های طولانی‌تر هست.
‏تو سایت hailuo ai فایل‌هایی تا ۱۰۰ مگابایت رو الان میشه آپلود کرد.
‏راستی این مدل رایگان هست و میتونید الان استفاده کنید. برای استفاده به سایت hailuo .ai مراجعه کنید.