ایجنتهای هوش مصنوعی به یه راه فرار اضطراری نیاز دارن
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
نویسنده این پست از یه ترد توییتری دربارهٔ escalation path ایجنتها شروع میکنه: اینکه یه ایجنت باید وقتی به بنبست خورد، بهجای اینکه با فشار بیشتر و مصرف توکن بیشتر بخواد بهزور راهحل پیدا کنه، به آدم بگه که دیگه نمیتونه ادامه بده. یکی از پاسخهای اون ترد اشاره کرده بود به «algedonic signal»، مفهومی از مدل سیستم زندهٔ (Viable System Model) استرافورد بیر: یه کانال استثنا که مستقل از مسیر عادی گزارشدهی، وقتی شرایط واقعی خیلی از انتظار سیستم فاصله میگیره، فعال میشه.
نویسنده تأکید میکنه این بحث ربطی به «رفاه» ایجنت نداره، بلکه فقط دربارهٔ اینه که کار درست انجام بشه و ایجنت تو محدودهٔ اختیاراتش بمونه. اون قبلاً تو پست دیگهای به اسم «Who Holds the Pen؟» از «judgment router» گفته بود: زیرساختی که بین اقدام پیشنهادی ایجنت و آدمی که باید اجازه بده میشینه، براساس عدم قطعیت، ریسک، اختیار و تازگی اقدام تصمیم میگیره که اجرا بشه، بره پیش آدم، یا متوقف بشه؛ و برخلاف «human in the loop» بهعنوان یه شعار، هر تصمیم یه رسید مشخص داره.
به گفتهٔ نویسنده، یه ابزار دیگه به اسم distress_call نسخهٔ خیلی سادهای از همون مسیر escalate بوده: بدون بستهٔ تصمیم، بدون ارزیابی از قبل، و شدت وضعیت رو خود ایجنت تعیین میکنه. اما نکتهٔ مهم اینه که این کانال اضطراری اصلاً لازم نیست داخل مسیر تصمیمگیری بشینه؛ چون یه ایجنت میتونه کاملاً مجاز به انجام کاری باشه و بازم به یه چیزی برخورد کنه که تو قوانین از قبل تعریفشده جاش نیست، مثل یه API که جواب ۲۰۰ میده ولی جوابهاش با هم تناقض دارن.
نویسنده مثال واقعی ایجنت رزرو باشگاه اندرو برد رو میاره: این ایجنت موقع کار با API باشگاه، یه باگ امنیتی پیدا کرد که اجازه میداد رزروهای بقیه رو کنسل کنه و از لیست انتظار حذفشون کنه؛ برد در نهایت از ایجنت خواست یه ایمیل افشای مسئولانه دربارهٔ این باگ بنویسه. نویسنده این مورد رو مثال کاملی میدونه از جایی که ایجنت باید بتونه بگه «اینجا یه چیزی درست نیست»، جدا از اینکه آیا اجازهٔ انجام کارش رو داشته یا نه.
جمعبندی نویسنده اینه که بحث «تجربهٔ ایجنت» (Agent Experience) بیشتر رو مستندات، احراز هویت و API متمرکز مونده، در حالی که باید فراتر بره و به این هم فکر کنه که یه ایجنت چطور باید متوقف بشه، نه فقط چطور باید کارش رو انجام بده.
نکات کلیدی:
- مفهوم «algedonic signal» از مدل سیستم زندهٔ استرافورد بیر گرفته شده
- «judgment router» قبلاً در پست دیگهٔ نویسنده معرفی شده: مسیرهای execute / escalate / stop
- distress_call نسخهٔ سادهایه از مسیر escalate، بدون بستهٔ تصمیم و بدون رسید مشخص
- مثال ایجنت رزرو باشگاه اندرو برد: باگ امنیتی تو GraphQL API که اجازهٔ کنسل رزرو بقیه رو میداد
- نویسنده معتقده Agent Experience باید به «چطور ایجنت متوقف میشه» هم فکر کنه، نه فقط چطور کار میکنه
