پرسشهای حقوقی تازه دربارهٔ تست نفوذ با ایجنتهای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
نویسنده که خودش وکیله میگه بیشتر ریسکهای یه تست نفوذ ایجنتی، همون ریسکهاییه که قراردادهای این حوزه سه دهه مدیریتشون کردن؛ چیزی که عوض شده نحوهٔ اجرای هر کنترله. جایی که یه تستر انسانی با قضاوت آموختهشده میفهمه کی دست نگه داره، ایجنت به یه قانون کدشده نیاز داره تا بعد از تأیید یه آسیبپذیری، تست رو متوقف کنه.
به گفتهٔ نویسنده مشکلات واقعاً سخت اوناییان که سابقه ندارن. اولی تزریق پرامپت از خود هدفه: ایجنت با خوندن محتوا استدلال میکنه، پس اگه اون محتوا دستور خصمانه داشته باشه، همون سیستمی که قراره بررسیش کنه میتونه رفتارش رو دستکاری کنه — کاری که با یه تستر انسانی شدنی نیست. نویسنده به CVE-2025-12420 تو ServiceNow اشاره میکنه که با اعتماد خودکار بین ایجنتها اجازه میداد یه مهاجم هر کاربری رو جعل هویت کنه.
دومی مسئلهٔ مجوزه. قانون سوءاستفادهٔ رایانهای بریتانیا (۱۹۹۰) برای یه تصمیمگیرندهٔ انسانی نوشته شده؛ وقتی یه ایجنت خودمختار همون لحظه تصمیم میگیره کدوم سیستمها رو بکاوه، معلوم نیست مجوزی که مشتری به شرکت داده، کاری که ایجنت خودش انتخاب کرده رو هم پوشش میده یا نه. هیچ رأی ثبتشدهای هم تو بریتانیا این نکته رو روشن نکرده.
سومی «آلودگی بینپروژهای»ه: محصولات ایجنتی با یادگیری از کارشون بهتر میشن، ولی یافتههای یه مشتری اطلاعات وضعیت امنیتی خاص اونو داره و استفاده ازش برای آموزش ایجنتی که بعد رقیبش رو تست میکنه، سؤالیه که قراردادهای قبلی هیچوقت باهاش روبهرو نبودن. چهارمی هم غیرقطعیبودنه: یه مدل زبانی ممکنه رو همون هدف مسیرهای استدلالی متفاوتی بره، برای همین گزارشی که مراحلش تکرارپذیر نیست، شواهد ضعیفتری برای رفع نقص و بیمه و گزارشدهی قانونی میده.
به گفتهٔ نویسنده، هویت زیر همهٔ اینا جریان داره: اگه مشتری به یه شرکت مجوز بده و شرکت بیست تا زیرایجنت همزمان اجرا کنه، بعداً چطوری ثابت میشه کی چه کاری کرد و با چه مجوزی؟ اگه احراز هویت بین مشتری و ایجنت ضعیف باشه، یه مهاجم میتونه خودش رو جای یه ایجنت مجاز جا بزنه. سؤالی که OWASP و نویسنده مطرح میکنن اینه: وقتی ایجنت کار مخربی میکنه، میشه ثابت کرد از طرف کی و با چه اختیاری بوده؟
نویسنده میگه قراردادهایی که الان نوشته میشن یا تو دادگاه دووم میارن یا نه، و صنعت شاید یکی دو سال فرصت داره تا اولین دعوای جدی این نوشتهها رو جلوی قاضی بذاره. یه الگوی آماده هم هست: قانون خودروهای خودران بریتانیا (۲۰۲۴) که وقتی قابلیت خودران فعاله، مسئولیت رو از رانندهٔ انسانی به نهاد مجاز منتقل میکنه. جمعبندیش اینه که این بار عدمقطعیت داره تو خود ابزارها پخته میشه و جوابش تو دعوای حقوقی روشن میشه، نه تو سیاستگذاری.
نکات کلیدی:
- بیشتر ریسکها آشنان؛ اجراشون با ایجنت فرق میکنه (قانون کدشده بهجای قضاوت انسانی)
- چهار مسئلهٔ بیسابقه: تزریق پرامپت از هدف، مجوز، آلودگی بینپروژهای، غیرقطعیبودن
- مسئلهٔ هویت: اثبات اینکه کدوم ایجنت، از طرف کی و با چه اختیاری عمل کرده
- قراردادهای فعلی هنوز تو دادگاه آزمایش نشدن؛ قانون خودروهای خودران یه الگوی ممکنه
