AI DeepMind

🔥شرکت Anthropic از قابلیت جدید Citations برای Claude رونمایی کرد!

▪️شرکت Anthropic امروز از ویژگی جدید Citations در API خودش پرده برداشت. حالا هوش مصنوعی Claude می‌تونه پاسخ‌هاش رو با منابع دقیق و قابل راستی‌آزمایی ارائه بده و مشخص کنه که هر بخش از جوابش از کجا اومده.

▪️قبلاً توسعه‌دهنده‌ها باید پرامپت‌های پیچیده می‌نوشتن تا اطلاعات منبع مشخص بشه، اما این روش خیلی وقت‌گیر و غیرقابل‌اعتماد بود. با این ویژگی جدید، دقت خروجی‌ها تا ۱۵ درصد بیشتر شده!

+ کاربرد های این قابلیت :

• تحقیقات علمی
• خلاصه‌سازی اسناد
• پاسخ به سوالات پیچیده و

- کلاد حالا دقیقاً مشخص می‌کنه که هر بخش از جواب از کدوم قسمت منبع برداشته شده.

#علوم_پزشکی #مقاله #ایده_جذاب

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

موارد ضروری که برای فراگیری مدلهای LLM مورد نیاز هست:

- token embeddings
- positional embeddings
- self-attention
- transformers
- intuitive understanding of Q, K, V
- causal and multi-head attention
- temperature, top-k, top-p
- classification & instruction fine-tuning
- rotary positional encoding (RoPE)
- KV Cache
- infini-attention (long context windows)
- mixture of experts (MoE)
- grouped query attention
- basic understanding of llama-2 architecture and techniques which is actually a recap of all the previous subjects

#علوم_پزشکی #مقاله #ایده_جذاب #منابع #کلاس_آموزشی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person

سگارو برگشت.
https://x.com/iSegar0

جایگزین bert معرفی شد:

در حالی که مدل‌های مبتنی بر دیکودر (مانند GPT-style LLMs) توجه بسیاری جلب کرده‌اند، مدل‌های مبتنی بر انکودر مانند BERT کمتر مورد توجه قرار گرفته‌اند. ModernBERT، انکودر جدیدی که توسط Answer.AI و LightOn توسعه یافته است، این شکاف را پر کرده و انکودرها را با قابلیت‌های پیشرفته‌تر به روزرسانی کرده است.

چرا مدل‌های انکودر؟
انکودرها برخلاف دیکودرها، توکن تولید نمی‌کنند؛ بلکه بردارهای تعبیه‌ای (embedding vectors) ایجاد می‌کنند که نمایانگر ارزش معنایی متن هستند. این ویژگی آن‌ها را برای وظایفی مانند طبقه‌بندی، اندازه‌گیری شباهت و ایجاد پلتفرم‌های بازیابی اطلاعات (مانند RAG) مناسب‌تر می‌کند.
در مقایسه با دیکودرها، انکودرها:

سریع‌تر و کم‌هزینه‌تر هستند.
می‌توانند روابط توکن‌ها را در هر دو جهت (پیش و پس‌رو) بررسی کنند.
در وظایف embedding محور عملکرد بهتری دارند.

ویژگی‌های ModernBERT:

افزایش ظرفیت و عملکرد:
افزایش طول پنجره متنی از 512 به 8000 توکن.
مناسب برای وظایف کدنویسی و جستجوی کد.
امتیازدهی بهتر در بنچمارک‌هایی مثل SQA و GLUE.
معماری بهینه:
استفاده از تکنیک‌های پیشرفته مانند روتاری جای‌گذاری موقعیتی (RoPE) برای پردازش متون بلند.
به‌کارگیری FlashAttention-2 برای کارایی بیشتر روی GPUهای پیشرفته.
ترکیب توجه محلی و جهانی برای مدیریت بهتر توالی‌های بلند.
اولین مدل انکودر با داده‌های آموزشی قابل توجه از کدهای برنامه‌نویسی.
کارایی بالا:
دو برابر سریع‌تر از DeBERTa و مصرف حافظه یک‌پنجم کمتر.
قابلیت اجرا روی سیستمهای معمولی (حداقل GPUبرای اجرا 4090)

ا ModernBERT در نسخه‌های Base (149 میلیون پارامتر) و Large (395 میلیون پارامتر) ارائه شده و به زودی به کتابخانه Transformers اضافه می‌شود.
مناسب‌تر برای وظایفی مانند بازیابی اطلاعات، طبقه‌بندی و استخراج.

▪️ Replacement for BERT: ModernBERT
▪️ Smarter, Better, Faster, Longer: A Modern Bidirectional Encoder for Fast, Memory Efficient, and Long Context Finetuning and Inference

#پایتون #الگوریتمها #هوش_مصنوعی

🔸 مطالب بیشتر 👇👇

✅ @AI_DeepMind
🔸 @AI_Person