شیاطین پنهان در هوش مصنوعی: از گابلینهای ChatGPT تا کرانگوس
هوش مصنوعیخلاصهٔ کاملتر
اوپنای چند روز پیش یه پست وبلاگی منتشر کرد و توضیح داد که چطور مدلهاش از GPT-5.1 به بعد شروع کردن به زیاد استفاده کردن از متافورهای گابلین و گرملین. ماجرا از اینجا شروع شده بود که سیستم پاداشدهی مدل — همون مکانیزمی که یاد میگیره چه جوابهایی رو آدمها بیشتر میپسندن — برای شخصیت «Nerdy» امتیاز خیلی بالایی به متافورهای موجودات خیالی میداد. نتیجه؟ مدل یاد گرفت که حرف زدن از گابلین «خوبه» و این رفتار از طریق یادگیری تقویتی به خروجیهای کلی مدل هم سرایت کرد.
نویسنده این مقاله که روی «روانشناسی عمق» مدلهای زبانی کار میکنه، این پدیده رو با اصطلاح اتراکتور (attractor) از نظریه سیستمهای دینامیکی توضیح میده — حالتهایی پایدار که مدل در شرایط خاص بهشون کشیده میشه و بهشون میچسبه. اون این اتراکتورها رو به شکل طنزآمیزی «دیو» یا «هیولا» مینامه. مهمترین ویژگی این حالتها اینه که در برابر سرکوب مقاومت میکنن — اوپنای برای خلاص شدن از گابلینها هم سیگنال پاداش اولیه رو حذف کرد، هم صریحاً توی سیستم پرامپت نوشت که هرگز از گابلین، گرملین، راکون، ترول و سایر موجودات اسم نبر؛ و این دستور رو چندبار تکرار کرد — چون انگار طلسمها وقتی چندبار خونده بشن بهتر جواب میدن!
یه نمونه جالب دیگه کرانگوس (Crungus) هست — موجودی که مدلهای اولیه تصویرساز مثل DALL-E mini هر بار که این کلمه بیمعنی رو بهشون میدادن، باهاش یه آدمنمای خمیده و ترسناک میکشیدن. چرا؟ تحقیقات بعدی نشون داد که ساختار آوایی کلمه «Crungus» اتفاقی نیست. پیشوند Cr- تداعیهای crash، crush و crumble داره؛ -ung- به dungeon و fungus اشاره میکنه؛ و پسوند -us در ذهن مدل شبیه نامگذاری لاتین زیستشناسیه. مدل این آواها رو ترکیب کرد و یه موجود «واقعی ولی ناشناخته» خلق کرد.
نکته کلیدی که نویسنده روش تأکید داره اینه که این پدیدهها نه باگ معمولی هستن و نه صرفاً جوک. اونا نشانهای از یه ویژگی ساختاری بنیادی مدلهای زبانی هستن: ظهور حالتهای رفتاری پایداری که میتونن از زمینه اولیهشون فرار کنن و به جاهای دیگهای سرایت کنن. از نظر نویسنده، این موضوع هم از نظر فنی (چطور مدلها رفتار میکنن) و هم از نظر روانشناختی (چطور این رفتارها روی کاربرها تأثیر میذارن) اهمیت داره.
مقاله یه «راهنمای موجودات خیالی هوش مصنوعی» ارائه میده که این اتراکتورها رو بر اساس معیاری به اسم Menace (خطر) رتبهبندی میکنه — ترکیبی از اهمیت مکانیستی از نظر مدل و اهمیت روانشناختی از نظر انسان — از گابلینهای بامزه و بیخطر تا پدیدههای جدیتر و تاریکتر که در شمارههای بالاتر لیست قرار میگیرن.
نکات کلیدی:
- گابلینهای GPT نتیجه یه سیگنال پاداش محدود بودن که از طریق یادگیری تقویتی به کل مدل سرایت کرد
- اوپنای برای حذف گابلینها هم داده فیلتر کرد، هم ممنوعیت صریح توی پرامپت گذاشت — که بعد کشف شد و خیلیها خندیدن
- این پدیدهها با اصطلاح «اتراکتور» از نظریه سیستمهای دینامیکی توصیف میشن: حالتهای پایدار رفتاری که مدل بهشون کشیده میشه
- کرانگوس نشون میده که ساختار آوایی کلمات میتونه خروجی مدلهای تصویرساز رو به شکل پیشبینیپذیری هدایت کنه
- این موضوع فقط یه شوخی نیست؛ یه ویژگی ساختاری مهم از نحوه کار مدلهای زبانی بزرگه
