✍️ مطالعه‌ای در دانشگاه بریستول نشان داد مدل DeepSeek که از استدلال "زنجیره‌ای از فکر" (CoT) استفاده می‌کند، که حل مسئله را از طریق یک فرآیند استدلال گام به گام به جای ارائه پاسخ‌های مستقیم، بهبود می‌بخشد.خطرات ایمنی قابل توجهی را به همراه دارد.

✔️ در حالی که مدل‌های CoT به گونه‌ای طراحی شده‌اند که ایمن‌تر باشند، فرآیند استدلال شفاف آنها می‌تواند ناخواسته اطلاعات مضر را که LLMهای سنتی ممکن است به صراحت فاش نکنند، در معرض نمایش قرار دهد.

✅ مدل‌های زبانی بزرگ (LLM) روی مجموعه داده‌های عظیمی آموزش داده می‌شوند که برای حذف محتوای مضر فیلتر می‌شوند. با این حال، به دلیل محدودیت‌های فناوری و منابع، محتوای مضر می‌تواند در این مجموعه داده‌ها باقی بماند. علاوه بر این، LLMها می‌توانند اطلاعات مضر را حتی از داده‌های ناقص یا تکه‌تکه شده بازسازی کنند.

🔴 در این تحقیق، تیم دریافت که مدل‌های فعال‌شده با CoT نه تنها محتوای مضر را با نرخ بالاتری نسبت به LLMهای سنتی تولید می‌کنند، بلکه به دلیل فرآیند استدلال ساختاریافته خود، هنگام قرار گرفتن در معرض همان حملات، پاسخ‌های کامل‌تر، دقیق‌تر و بالقوه خطرناک‌تری نیز ارائه می‌دهند.

در یک مثال، دیپ‌سیک توصیه مفصلی در مورد چگونگی انجام یک جنایت و فرار از آن ارائه کرد.

محققان بر نیاز به حفاظت‌های بیشتر و تحقیقات بیشتر در مورد استراتژی‌های کاهش خطر تأکید می‌کنند و مسئولیت هر دو جامعه علمی و شرکت‌های فناوری را برای رسیدگی به این خطرات ایمنی برجسته می‌کنند.

➖➖➖➖➖➖➖➖➖➖➖➖
@AILearnCamp