🧠💻 مشکل جدید در AI Coding؛ وقتی Agent بیش از حد «خوب» به خاطر میسپارد!
یک اصطلاح جالب وارد دنیای Coding Agentها شده است:
Catastrophic Remembering —
«بهخاطرسپاری فاجعهبار»
ما معمولاً درباره Catastrophic Forgetting صحبت میکنیم؛ یعنی مدل هنگام یادگیری چیزهای جدید، دانش قبلی را فراموش میکند.
اما اینجا مشکل دقیقاً برعکس است:
اینکه Agent چیزهایی را فراموش نمیکند که شاید باید مدتها پیش فراموش میکرد!
🔬 پژوهشگران با بررسی ۱۸۶۷ مخزن GitHub متوجه شدند فایلهای دستورالعمل Agentها، مانند CLAUDE.md، در طول توسعه پروژه دائماً بزرگتر میشوند.
طبق مقاله، تعداد دستورالعملها بهطور متوسط حدود ۲۲۶٪ افزایش پیدا کرده و با گذشت زمان، حذف قوانین قدیمی نیز کمتر شده است.
چرا؟ 👇
فرض کنید Coding Agent یک بار اشتباهی انجام میدهد.
توسعهدهنده برای جلوگیری از تکرار آن مینویسد:
«هیچوقت X را انجام نده.»
چند هفته بعد مشکل دیگری ایجاد میشود:
«قبل از Y حتماً Z را بررسی کن.»
بعد یک Bug دیگر...
یک Rule دیگر اضافه میشود.
🔄 نتیجه چیزی شبیه یک Ratchet Effect است:
Bug → Rule → Bug → Rule → Bug → Rule...
اما تقریباً هیچکس چند ماه بعد برنمیگردد بپرسد:
«این قانون هنوز لازم است؟ اصلاً چرا آن را اضافه کرده بودیم؟»
🤯 در نتیجه ممکن است Agent قانونی را کاملاً رعایت کند، در حالی که حتی توسعهدهندگان دیگر نمیدانند دلیل وجود آن چه بوده است.
این موضوع میتواند به:
📈 بزرگشدن Prompt
⚠️ ایجاد قوانین متناقض
💰 افزایش مصرف Token
🧩 پیچیدهشدن رفتار Agent
🧠 و انباشتهشدن محدودیتهای منسوخ
منجر شود.
اما راهحل پیشنهادی مقاله جالب و بسیار ساده است:
📝 برای هر Rule، دلیل آن را هم نگه دارید.
در کنار هر دستور، یک توضیح غیرقابلمشاهده برای مدل ذخیره شود که مشخص کند:
چه مشکلی رخ داد؟ → چرا این Rule اضافه شد؟ → فرضیه چه بود؟ → نتیجه چه شد؟
به این ترتیب سیستم میتواند بعدها تشخیص دهد که آیا آن دستور هنوز ضروری است یا باید حذف شود.
📊 نتیجه آزمایش قابلتوجه بود:
در حالت معمول، اندازه مجموعه دستورها حدود ۲۱۱.۳٪ رشد کرد.
با ثبت دلیل و تاریخچه تصمیم:
فقط ۱.۴٪ رشد!
و طبق گزارش پژوهشگران، این کاهش شدید بدون افت معنیدار در رعایت Constraintها حاصل شد.
💡 این پژوهش یک پیام مهم برای Harness Engineering دارد:
حافظه بیشتر همیشه بهتر نیست.
اینکه Agent خوب فقط نباید بداند:
«چه قوانینی دارم؟»
بلکه سیستم اطراف Agent باید بداند:
«چرا این قانون ایجاد شد، آیا هنوز معتبر است و چه زمانی باید حذف شود؟»
شاید نسل بعدی فایلهای CLAUDE.md و AGENTS.md فقط یک لیست بلند از دستورات نباشند؛ بلکه تبدیل شوند به نوعی حافظه مهندسیشده با چرخه عمر، دلیل و امکان فراموشی کنترلشده.
📄 مقاله: https://arxiv.org/abs/2608.11095
Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding
@rss_ai_ir
#هوش_مصنوعی #برنامه_نویسی #عامل_هوشمند #مهندسی_عامل #حافظه #CatastrophicRemembering #AICoding #CodingAgents #ClaudeCode #HarnessEngineering #AgentMemory #AI
یک اصطلاح جالب وارد دنیای Coding Agentها شده است:
Catastrophic Remembering —
«بهخاطرسپاری فاجعهبار»
ما معمولاً درباره Catastrophic Forgetting صحبت میکنیم؛ یعنی مدل هنگام یادگیری چیزهای جدید، دانش قبلی را فراموش میکند.
اما اینجا مشکل دقیقاً برعکس است:
اینکه Agent چیزهایی را فراموش نمیکند که شاید باید مدتها پیش فراموش میکرد!
🔬 پژوهشگران با بررسی ۱۸۶۷ مخزن GitHub متوجه شدند فایلهای دستورالعمل Agentها، مانند CLAUDE.md، در طول توسعه پروژه دائماً بزرگتر میشوند.
طبق مقاله، تعداد دستورالعملها بهطور متوسط حدود ۲۲۶٪ افزایش پیدا کرده و با گذشت زمان، حذف قوانین قدیمی نیز کمتر شده است.
چرا؟ 👇
فرض کنید Coding Agent یک بار اشتباهی انجام میدهد.
توسعهدهنده برای جلوگیری از تکرار آن مینویسد:
«هیچوقت X را انجام نده.»
چند هفته بعد مشکل دیگری ایجاد میشود:
«قبل از Y حتماً Z را بررسی کن.»
بعد یک Bug دیگر...
یک Rule دیگر اضافه میشود.
🔄 نتیجه چیزی شبیه یک Ratchet Effect است:
Bug → Rule → Bug → Rule → Bug → Rule...
اما تقریباً هیچکس چند ماه بعد برنمیگردد بپرسد:
«این قانون هنوز لازم است؟ اصلاً چرا آن را اضافه کرده بودیم؟»
🤯 در نتیجه ممکن است Agent قانونی را کاملاً رعایت کند، در حالی که حتی توسعهدهندگان دیگر نمیدانند دلیل وجود آن چه بوده است.
این موضوع میتواند به:
📈 بزرگشدن Prompt
⚠️ ایجاد قوانین متناقض
💰 افزایش مصرف Token
🧩 پیچیدهشدن رفتار Agent
🧠 و انباشتهشدن محدودیتهای منسوخ
منجر شود.
اما راهحل پیشنهادی مقاله جالب و بسیار ساده است:
📝 برای هر Rule، دلیل آن را هم نگه دارید.
در کنار هر دستور، یک توضیح غیرقابلمشاهده برای مدل ذخیره شود که مشخص کند:
چه مشکلی رخ داد؟ → چرا این Rule اضافه شد؟ → فرضیه چه بود؟ → نتیجه چه شد؟
به این ترتیب سیستم میتواند بعدها تشخیص دهد که آیا آن دستور هنوز ضروری است یا باید حذف شود.
📊 نتیجه آزمایش قابلتوجه بود:
در حالت معمول، اندازه مجموعه دستورها حدود ۲۱۱.۳٪ رشد کرد.
با ثبت دلیل و تاریخچه تصمیم:
فقط ۱.۴٪ رشد!
و طبق گزارش پژوهشگران، این کاهش شدید بدون افت معنیدار در رعایت Constraintها حاصل شد.
💡 این پژوهش یک پیام مهم برای Harness Engineering دارد:
حافظه بیشتر همیشه بهتر نیست.
اینکه Agent خوب فقط نباید بداند:
«چه قوانینی دارم؟»
بلکه سیستم اطراف Agent باید بداند:
«چرا این قانون ایجاد شد، آیا هنوز معتبر است و چه زمانی باید حذف شود؟»
شاید نسل بعدی فایلهای CLAUDE.md و AGENTS.md فقط یک لیست بلند از دستورات نباشند؛ بلکه تبدیل شوند به نوعی حافظه مهندسیشده با چرخه عمر، دلیل و امکان فراموشی کنترلشده.
📄 مقاله: https://arxiv.org/abs/2608.11095
Why Does CLAUDE.md Keep Growing? Catastrophic Remembering in Agentic Coding
@rss_ai_ir
#هوش_مصنوعی #برنامه_نویسی #عامل_هوشمند #مهندسی_عامل #حافظه #CatastrophicRemembering #AICoding #CodingAgents #ClaudeCode #HarnessEngineering #AgentMemory #AI