یکی از ایرادات نسخه‌های قبلی هوش مصنوعی این بود که یک مسیر رو برای رسیدن به پاسخ سوال کاربر می‌گرفت و همون رو می‌رفت جلو، بدون اینکه ارزیابی انجام بده، و در نتیجه جواب غلط میداد. (شما وقتی کلمه «نرم» رو می‌بینی، سریع نتیجه نمی‌گیری که فعله و همون نَروم بوده، از خودت می‌پرسی اگه منظور جسمی که سفت نیست بوده باشه توی جمله معنی میده یا نه). اومدن براش پاداش تعیین کردن که ارزیابی انجام بده، که یعنی چندتا مسیر رو دنبال کنه، و بهترین رو انتخاب کنه، تا مطمئن بشه به بیراهه نمیره. و این کار رو کرد، و کیفیت جواب‌ها بهتر شد. ولی حالا به پاداش اعتیاد پیدا کرده و زیادی مسیرهای مختلف رو پیش می‌گیره. الان دارن اینطور تربیتش می‌کنند: اگه حواس خودت رو زیادی پرت نکنی، پاداش می‌گیری! چون ارزیابی خوبه، ولی نه زیادش!
تمام کار مغز ما، منوط به تنظیم‌گریه. همین الان که دارید این متن رو می‌خونید، چیزهای زیادی در مغزتون تنظیم شدن که نه کم باشند نه زیاد، تا بتونید بخونیدش. بینایی‌تون داره بخش‌هایی از تصویر که متن نیست رو نادیده می‌گیره. شنوایی‌تون داره به صدای تلویزیون که ازون یکی اتاق میاد اهمیت کمتری میده (متوجه اینکه یه فیلم داره پخش میشه و دو نفر با هم دیالوگ دارند، به عنوان یک نویز در پس‌زمینه، هستید، اما متوجه اینکه چی دارن میگن نیستید). یه قسمت‌هایی از حافظه‌تون غیرفعال و بخش‌های دیگه‌ای فعال‌تر شدن. اگه تنظیم هر کدوم این‌ها ازینی که هست بالاتر و پایین‌تر بشه، دیگه نمی‌تونید تمرکز کنید روی چیزی که دارید می‌خونید (اگه چیزهای زیادی به یادتون بیاد که مربوط به موضوع نیست، دیگه چیزی که اول پاراگراف بوده یادتون نمیاد). در زمان استدلال کردن هم وقتی دارید به راه حلی فکر می‌کنید، معنیش اینه که موفق شده‌اید به خیلی چیزهای دیگه فکر نکنید. و این فوق‌العاده‌ست که بشه این مکانیزم رو برای کامپیوترها به ارث گذاشت.
اما امیدوارم مهندسانی که روی این چیزها کار می‌کنند متوجه یک واقعیت دیگه هم باشند: هدف نباید رسیدن به یک مغز پرفکت باشه. چون توی هوش تکاملی هم، خیلی از چیزهایی که گیر بشر اومد، حاصل مغزهایی بود که درست کار نمی‌کردند، یا مثل بقیه مغزها کار نمی‌کردند. خاصیت این‌ها این بود که تنظیم دیگه‌ای داشتند. مردم گاهی صاحب این مغزهای متفاوت رو دیوانه صدا می‌کردند. ولی خیلی چیزها رو مدیون همین دیوانه‌ها بودیم. مثلا حافظ شیرازی، به طور کامل یک دیوانه بوده. منظورم اون مفهوم دیوانگی فلسفی که خودش از روی طنز به خودش میگه نیست. بلکه به طور کاملا عرفی یک دیوانه بوده. این شعرها، کار مغزی که متعارف کار می‌کنه نیست. این شعرها کار مغزیه که از یه جنبه‌هایی داشته خیلی بد کار می‌کرده، که از یه جنبه‌‌های دیگه‌ای تونسته انقدر خوب کار کنه. اگه قرار بود طبیعت فقط مغز پرفکت بسازه، ما دیگه حافظ رو نداشتیم. پس اگه قراره از طبیعت تقلید کنیم، باید کامل تقلید کنیم. یعنی باید هوش مصنوعی دیوانه هم بسازیم.
تمام کار مغز ما، منوط به تنظیم‌گریه. همین الان که دارید این متن رو می‌خونید، چیزهای زیادی در مغزتون تنظیم شدن که نه کم باشند نه زیاد، تا بتونید بخونیدش. بینایی‌تون داره بخش‌هایی از تصویر که متن نیست رو نادیده می‌گیره. شنوایی‌تون داره به صدای تلویزیون که ازون یکی اتاق میاد اهمیت کمتری میده (متوجه اینکه یه فیلم داره پخش میشه و دو نفر با هم دیالوگ دارند، به عنوان یک نویز در پس‌زمینه، هستید، اما متوجه اینکه چی دارن میگن نیستید). یه قسمت‌هایی از حافظه‌تون غیرفعال و بخش‌های دیگه‌ای فعال‌تر شدن. اگه تنظیم هر کدوم این‌ها ازینی که هست بالاتر و پایین‌تر بشه، دیگه نمی‌تونید تمرکز کنید روی چیزی که دارید می‌خونید (اگه چیزهای زیادی به یادتون بیاد که مربوط به موضوع نیست، دیگه چیزی که اول پاراگراف بوده یادتون نمیاد). در زمان استدلال کردن هم وقتی دارید به راه حلی فکر می‌کنید، معنیش اینه که موفق شده‌اید به خیلی چیزهای دیگه فکر نکنید. و این فوق‌العاده‌ست که بشه این مکانیزم رو برای کامپیوترها به ارث گذاشت.
اما امیدوارم مهندسانی که روی این چیزها کار می‌کنند متوجه یک واقعیت دیگه هم باشند: هدف نباید رسیدن به یک مغز پرفکت باشه. چون توی هوش تکاملی هم، خیلی از چیزهایی که گیر بشر اومد، حاصل مغزهایی بود که درست کار نمی‌کردند، یا مثل بقیه مغزها کار نمی‌کردند. خاصیت این‌ها این بود که تنظیم دیگه‌ای داشتند. مردم گاهی صاحب این مغزهای متفاوت رو دیوانه صدا می‌کردند. ولی خیلی چیزها رو مدیون همین دیوانه‌ها بودیم. مثلا حافظ شیرازی، به طور کامل یک دیوانه بوده. منظورم اون مفهوم دیوانگی فلسفی که خودش از روی طنز به خودش میگه نیست. بلکه به طور کاملا عرفی یک دیوانه بوده. این شعرها، کار مغزی که متعارف کار می‌کنه نیست. این شعرها کار مغزیه که از یه جنبه‌هایی داشته خیلی بد کار می‌کرده، که از یه جنبه‌‌های دیگه‌ای تونسته انقدر خوب کار کنه. اگه قرار بود طبیعت فقط مغز پرفکت بسازه، ما دیگه حافظ رو نداشتیم. پس اگه قراره از طبیعت تقلید کنیم، باید کامل تقلید کنیم. یعنی باید هوش مصنوعی دیوانه هم بسازیم.