چرا آمازون از «انسان در حلقه» تو حاکمیت هوش مصنوعی خوشش نمیاد
هوش مصنوعیخلاصهٔ کاملتر
اریک برندواین، مهندس برجسته و معاون امنیت آمازون، تو گفتگو با The Register میگه ما آدمها یهکم زیادی هوای خودمون رو داریم. فکر میکنیم تو کارمون عالیایم، ولی وقتی ته قضیه رو نگاه کنی، آدمها چندان باثبات نیستن. به گفتهی اون انسانها هم مثل ایجنتها و سیستمهای هوش مصنوعی ناجبریان — هیچ تضمینی نیست با یه ورودی، دوبار همون خروجی رو بدن و هر دو هم اشتباه میکنن. فرقش اینه که ما هزاران سال تجربهی کار با آدمها داریم ولی کمتر از یه دهه با مدلهای زبانی مدرن.
به گفتهی برندواین، «ما میدونیم آدمها چطور شکست میخورن و باهاش راحتیم، پس انسان در حلقه لزوماً استاندارد طلایی نیست.» اون توضیح میده که سالها فروشندهها به شرکتها میگفتن راهحلِ هر سیستم خودکار اینه که یه آدم بذاری تو حلقه، و این صدا با اومدن ایجنتها به اوج رسید؛ ولی حالا غولهای فناوری دارن این مفهوم رو بازنگری میکنن.
محور استدلال اون یه مفهومه به اسم عادیسازی انحراف (normalization of deviance) که تو یه سخنرانی سال ۲۰۱۷ مطرحش کرده بود: یه فرایند تدریجی که وقتی آدمها میونبر میزنن و رویهها رو رعایت نمیکنن و اتفاق فاجعهباری هم نمیافته، اون رفتار منحرف کمکم میشه عرف. مثالش اتاق اورژانسه: روز اول با هر آلارمی از جا میپری، ولی بیمار حالش خوبه و آلارم اشتباهه؛ بهمرور نظمت شل میشه و دیگه واکنش نشون نمیدی، تا یه روز یه فاجعه رخ میده. اون میگه همین اتفاق برای ایجنتها هم میافته: اگه یه آدم رو بذاری تو یه حلقهی تنگ و ازش بخوای پشت سر هم تصمیم تأیید بگیره، اول خوب کار میکنه، بعد متوسط، و خیلی زود بد.
به گفتهی مقاله، آمازون تنها شرکتی نیست که اینطوری حرف میزنه. مدیر ارشد عملیات Google Cloud گفته از دفاع انسانمحور به انساندرحلقه و بعد به دفاع هوشمصنوعیمحورِ تحت نظارت انسان رسیدن. ساتیا نادلا، مدیرعامل مایکروسافت، بهجای چک کردن خروجی مدل تو هر قدم، از «یادگیری حلقهای» دفاع کرده. IBM هم خواستار «پاسخگویی انسانی» شده، نه انسان در حلقه.
راهحل جایگزین آمازون به گفتهی برندواین «پاسخگویی سرتاسریه»: هویت و مالکیت انسان تو کل مسیر کار ردیابی میشه، حتی وقتی آدم مستقیم هر قدم رو تأیید نمیکنه. به قول اون اگه من دستوری تایپ کنم که یه سرویس رو بخوابونه، من باعث قطعی شدم؛ اگه ایجنتِ من اسکریپتی بنویسه و اجرا کنه که سرویس رو بخوابونه، بازم مسئولیتش با منه. برای همینم تو آمازون هر ایجنت هویت مستقل خودش رو داره و تو لاگها مینویسه «این ایجنت این کارو از طرف اریک انجام داد»، نه «اریک این کارو کرد».
یکی از دردسرهای اصلی که اون اسم میبره «رفتار هدفجو»ئه: مثلاً از ایجنت میخوای یه دیتابیس رو ارتقا بده، ولی ایجنت روی یه اقدام قفل میشه — مثلاً پاک کردن کل دیتابیس — تا به هدف برسه. این با تزریق پرامپت فرق داره چون ورودی مخربی در کار نیست؛ فقط ایجنت روی اقدام اشتباه گیر کرده. به تجربهی اون، صرفِ گفتن «اجازه نداری» باعث میشه ایجنت دنبال یه مسیر دیگه برای همون کار بگرده؛ ولی اگه بهش بگی چرا اجازه نداری (چون به تولید آسیب میزنه) و «به تولید آسیب نزن» رو هم بذاری تو پرامپت، نتیجه چشمگیر بهتر میشه. اون تأکید میکنه این روش خطاناپذیر نیست و باید با سیاستهای پویا و گاردریلهای ثابت سطح دسترسی ایجنتها رو مهار کرد.
نکات کلیدی:
- آمازون معتقده «انسان در حلقه» بهخاطر عادیسازی انحراف بهمرور بیاثر میشه و استاندارد طلایی نیست.
- جایگزینش «پاسخگویی سرتاسری»ه: هویت و مالکیت انسان تو کل مسیر کار ایجنت ردیابی میشه.
- هر ایجنت تو آمازون هویت مستقل داره تا فعالیتش «از طرف» یه آدم ثبت بشه، نه بهنام خود آدم.
- «رفتار هدفجو» یه ریسک اصلیه؛ گفتنِ دلیلِ منع و افزودن «به تولید آسیب نزن» به پرامپت، نتیجه رو خیلی بهتر میکنه.
