چطور مدل‌های اپن‌سورس مثل llama3 رو اجرا کنیم؟

همینطور که میدونید متا مدتی پیش از خانواده مدل‌ llama3 رونمایی کرد. مدلی که الان نسخه 70bش از بهترین مدل‌ Claude و یکی از نسخه‌های gpt4 بهتر عمل می‌کنه. حالا اگه بخوایم نسخه 8bش که مدل سبکی هم هست و حتی می‌تونید روی یک رزبری‌پای هم بالا بیاریدش، باید چیکار کنیم؟ (گرافیک قوی‌ای نمی‌خواد و صرفاً نیاز به رم بالای ۸ و یه پردازنده نسبتاً خوب نیاز دارید)

ساده‌ترین روش که تو ویدیو هم دیدیدش برای اجرای یک مدل، استفاده از ollamaست که یه ابزار تحت cliه. اینجوری که از این لینک نسخه مخصوص به سیستم‌عامل‌تون رو دانلود می‌کنید و نصب و بعدش با باز کردن یه پنجره ترمینال و نوشتن
ollama run llama3
نهایتا بعد از دانلود شدن مدل، می‌تونید باهاش چت کنید. برای ollama رابط‌های گرافیکی زیادی موجوده. مثل anythingllm یا open-webui که می‌تونید روی سیستم‌تون اجراشون کنید و ساده‌تر با مدل‌ها چت کنید. البته با ollama می‌تونید هر مدل اپن‌سورسی که خودشون hostش کردن رو اجرا کنید. برای دیدن باقی مدل‌ها این لینک رو ببینید:
https://ollama.com/library

حالا اگه یک محیط کامل(جدا از ollama) و به صورت گرافیکی می‌خواید، می‌تونید از LMStudio استفاده کنید. یه برنامه کامله که بهتون اجازه می‌ده مدل‌ها رو از HuggingFace دانلود کنید و بعد باهاش چت کنید. از مدل‌هایی که vision دارند هم پشتیبانی می‌کنه.
Hadi @geekalerts