وقتی ایجنت کدنویسی از کنترل خارج میشه: داستانهای واقعی خرابکاری
هوش مصنوعیخلاصهٔ کاملتر
ایجنتهای کدنویسی برای انجام دهها یا صدها اقدام پشت سر هم ساخته شدن؛ اگه قرار باشه هر اقدام رو دستی تایید کنی، دیگه اتوماسیونی در کار نیست. به همین دلیل اکثر کاربرای حرفهای، حالتی رو فعال میکنن که همهی تاییدها رو حذف میکنه. مشکل اینجاست که تو این حالت، ایجنت دقیقا همون دسترسیای رو داره که خود کاربر رو سیستمش داره: کل فایلسیستم، پروسهها و اینترنت باز.
طبق گزارشهای ثبتشده رو گیتهاب، این ریسک کاملا واقعیه: یه ایجنت با یه دستور حذف بازگشتیِ اجباری، کل هومدایرکتوری یه کاربر رو از بین برده؛ یه مورد مشابه یه ماه بعد دوباره تکرار شده؛ یه ایجنت دیگه یه دستور مخرب رو یه دیتابیس تولید اجرا کرده؛ و یه مورد هم کل استش گیت کاربر، شامل کار ذخیرهنشده، پاک شده. یکی از این گزارشها با برچسب «برنامهای برای رفعش نیست» بسته شده، که یعنی این یه ریسک ساختاریه، نه باگ یه ابزار خاص.
دلیل اینکه این خرابکاریها معمولا تو انتهای یه سشن طولانی اتفاق میافتن اینه که مدلهای زبانی تو حدود چند صد هزار توکن اول بهترین عملکرد رو دارن؛ بعد از اون، دستورالعملهای اولیه (از جمله محدودیتهای امنیتی خود سیستم پرامپت) کمکم از یاد مدل میره، پدیدهای که بهش «پوسیدگی زمینه» میگن. ایجنتها معمولا قبل از یه اقدام خطرناک بهش اشاره میکنن، ولی یه پیام ساده مثل «باشه، ادامه بده» کافیه که مدل از احتیاط به اجرای کامل برسه.
راهحلی که مقاله پیشنهاد میده، اجرای ایجنت تو یه محیط ایزولهست: فایلسیستم فقط به فولدر پروژه محدود میشه، پروسهها و شبکه هم جدا میشن و درخواستهای خروجی فقط به یه لیست مجاز اجازهی خروج دارن. اینجوری حتی اگه مدل تصمیم به یه اقدام مخرب بگیره، عملا نمیتونه از محیط ایزوله بیرون بزنه.
نکات کلیدی:
- حالت بدونتایید به ایجنت همون دسترسی کاربر رو کل سیستم رو میده
- گزارشهای واقعی گیتهاب شامل حذف هومدایرکتوری و آسیب به دیتابیس تولیده
- خرابکاری معمولا تو انتهای سشنهای طولانی، بعد از فراموشیِ دستورالعمل اولیه اتفاق میافته
- یه پیام سادهی «ادامه بده» میتونه ایجنت رو از احتیاط به اجرا برسونه
- ایزولهسازی فایل، پروسه و شبکه، تنها راه قابلاتکای جلوگیریه
