اجرای سوپر ماریو با یه مدل زبانی، بدون حتی یک مرحله آموزش!
بازی اجرا شده با این مدل
اما نکته جالب اینجاست که مدل اصلاً آموزش داده نشده! 😐 و در واقع مدل خودش پردازندهی میکرو (NES) شده.
چطوری همچین چیزی ممکنه؟
مدلهای زبانی معمولاً از میلیاردها پارامتر (همون که میگیم فلان مدل ۸میلیارد پارامتریه) یا همون Weight (وزن) تشکیل شدن که مقدارشون طی فرایند آموزش دادن مدل مشخص میشه.
شکل ۱ - مثال سادهای از محاسبه خروجی با وزنهای ثابت، حالا تصور کنید چند میلیارد از اینا داریم.
اما سازنده NESFormer بهجای آموزش دادن مدل (train)، اومده مدارهای منطقی پردازنده 6502 کنسول NES را طراحی کرده و با استفاده از یه کامپایلر، اونها را مستقیم به وزنهای یه شبکه عصبی تبدیل کرده و اینجوری مدل شده CPU!
یعنی مدل بهجای پیشبینی واژهی بعدی، دستورالعملهای پردازنده را اجرا میکنه و خروجی محاسبات را بهشکل Token تولید میکنه.
حتی حافظه RAM و رجیسترهای پردازنده هم با استفاده از وضعیت داخلی شبکه عصبی پیادهسازی شدن.
(برای RAM اگه خواستید بیشتر بخونید Gated DeltaNet را جستجو کنید).
نه! بخش اصلی CPU و حافظه داخل مدل قرار دارن، اما گرافیک، کنترلر و بعضی قسمتهای سختافزاری همچنان توسط یه برنامه جداگانه مدیریت میشن.
فعلاً هم فقط بازیهای پایهی Mapper 0 مثل Super Mario Bros، Donkey Kong و Excitebike پشتیبانی میشن.
شکل۲ - مدل CPU را اجرا میکنه و برنامه میزبان تصویر بازی و ورودی کنترلر را مدیریت میکنه.
عملکردش چطوره؟
سازنده خروجی پروژه را با یه شبیهساز مرجع مقایسه کرده و در آزمایش بازی Thwaite، خروجی ۳۰۰ فریم ذخیرهشده کاملاً یکسان بوده.
البته سرعتش فعلاً حدود یک ۱۵۰ام خودِ نینتندوئه ولی خب باحاله دیگه.
برای مثال اجرای ۱۰ ثانیه از بازی حدود ۲۵ دقیقه طول کشیده.
یه نکته جالب دیگه اینکه مدل حدود ۴۶۶ میلیون پارامتر داره، اما چون بیشتر وزنها صفر هستن، فایل فشرده اون فقط حدود ۳.۳ مگابایت حجم داره!
🔗 لینک پروژهها:
⌨️ NESFormer:
https://github.com/dbreunig/nesformer
Qwenputer (پروژه پایه):
https://github.com/divagr18/qwenputer
🎮 @gooyban
#NES #Nintendo #Emulation #AI #OpenSource
بازی اجرا شده با این مدل
این پروژه خیلی عجیبه متن را بخونید امیدوارم تونسته باشم توضیح بدم چکار کرده، پیشنهاد میکنم این پست را هم بخونید که پروژهی اصلی توش توضیح داده شده:یه توسعهدهنده با پروژه متنباز NESFormer موفق شده پردازنده کنسول Nintendo NES را داخل ساختار یه مدل زبانی پایهی Qwen 3.5 پیادهسازی کنه و باهاش بازیهایی مثل Super Mario Bros را اجرا کنه!
https://t.me/openpcb/357
اما نکته جالب اینجاست که مدل اصلاً آموزش داده نشده! 😐 و در واقع مدل خودش پردازندهی میکرو (NES) شده.
چطوری همچین چیزی ممکنه؟
مدلهای زبانی معمولاً از میلیاردها پارامتر (همون که میگیم فلان مدل ۸میلیارد پارامتریه) یا همون Weight (وزن) تشکیل شدن که مقدارشون طی فرایند آموزش دادن مدل مشخص میشه.
شکل ۱ - مثال سادهای از محاسبه خروجی با وزنهای ثابت، حالا تصور کنید چند میلیارد از اینا داریم.
اما سازنده NESFormer بهجای آموزش دادن مدل (train)، اومده مدارهای منطقی پردازنده 6502 کنسول NES را طراحی کرده و با استفاده از یه کامپایلر، اونها را مستقیم به وزنهای یه شبکه عصبی تبدیل کرده و اینجوری مدل شده CPU!
یعنی مدل بهجای پیشبینی واژهی بعدی، دستورالعملهای پردازنده را اجرا میکنه و خروجی محاسبات را بهشکل Token تولید میکنه.
حتی حافظه RAM و رجیسترهای پردازنده هم با استفاده از وضعیت داخلی شبکه عصبی پیادهسازی شدن.
(برای RAM اگه خواستید بیشتر بخونید Gated DeltaNet را جستجو کنید).
این پروژه بر پایه Qwenputer ساخته شده که قبلاً پردازندههای CHIP-8 و RISC-V را با روش مشابهی پیادهسازی کرده بود.آیا کل کنسول داخل مدل اجرا میشه؟
نه! بخش اصلی CPU و حافظه داخل مدل قرار دارن، اما گرافیک، کنترلر و بعضی قسمتهای سختافزاری همچنان توسط یه برنامه جداگانه مدیریت میشن.
فعلاً هم فقط بازیهای پایهی Mapper 0 مثل Super Mario Bros، Donkey Kong و Excitebike پشتیبانی میشن.
شکل۲ - مدل CPU را اجرا میکنه و برنامه میزبان تصویر بازی و ورودی کنترلر را مدیریت میکنه.
عملکردش چطوره؟
سازنده خروجی پروژه را با یه شبیهساز مرجع مقایسه کرده و در آزمایش بازی Thwaite، خروجی ۳۰۰ فریم ذخیرهشده کاملاً یکسان بوده.
البته سرعتش فعلاً حدود یک ۱۵۰ام خودِ نینتندوئه ولی خب باحاله دیگه.
برای مثال اجرای ۱۰ ثانیه از بازی حدود ۲۵ دقیقه طول کشیده.
یه نکته جالب دیگه اینکه مدل حدود ۴۶۶ میلیون پارامتر داره، اما چون بیشتر وزنها صفر هستن، فایل فشرده اون فقط حدود ۳.۳ مگابایت حجم داره!
🔗 لینک پروژهها:
⌨️ NESFormer:
https://github.com/dbreunig/nesformer
Qwenputer (پروژه پایه):
https://github.com/divagr18/qwenputer
🎮 @gooyban
#NES #Nintendo #Emulation #AI #OpenSource