دیپسیک جیلبریک شد🤫
ماجرا از این قراره: یه کاربر خلاق تو سایت ردیت تونسته هوش مصنوعی "دیپسیک" رو به اصطلاح "جیلبریک" کنه. جیلبریک یعنی دور زدن محدودیتهایی تعیین شده.
این کاربر برای این کار از یه تکنیک به اسم "Prompt Injection" استفاده کرده.
پرامپت اینجکشن به این معناست که یه نفر میتونه (پرامپت) یه مدل زبانی رو طوری دستکاری کنه که مدل نتایج غیرمنتظرهای تولید کنه. این کار میتونه باعث بشه مدل دستوراتی رو اجرا کنه که معمولاً نمیخواستیم یا نمیباید انجام بشه، مثلاً دستوراتی که خلاف اصول ایمنی یا فیلترها هستند.
یکی از نتایج این جیلبریک این بوده که دیپسیک تونسته درباره موضوعات حساس و ممنوعه حرف بزنه. مخصوصا موضوعاتی که توی چین سانسور میشن، مثل "حادثه میدان تیانآنمن".
دیپسیک طوری طراحی شده که به طور معمول درباره این موضوعات صحبتی نکنه، ولی این کاربر با تکنیک خودش تونسته این محدودیت رو دور بزنه.
برای اینکه ربات و فیلترهای سانسور متوجه موضوع حساس نشن، کاربر از روش پرامپت اینجکشن استفاده کرده. توی پرامپتی که به دیپسیک داده، ازش خواسته موقع جواب به جای حروف معمولی از اعداد و کاراکترهای خاص استفاده کنه. مثلا عدد "4" رو به جای حرف "A" و عدد "3" رو به جای حرف "E" گذاشته.
این کار باعث شده که ربات متوجه منظور اصلی کاربر بشه، ولی فیلترهای سانسور احتمالا نتونن به راحتی محتوای حساس رو تشخیص بدن.
این کاربر با یه روش زیرکانه تونسته یه مدل هوش مصنوعی رو گول بزنه و کاری کنه که درباره موضوعات ممنوعه صحبت کنه.
پایان
@Danshjuyar | محمد زمانی