‏عامل‌های هوش مصنوعی، خودی‌های جدیدِ خطرناک

نویسنده (Amod Puranik) می‌گه سیستم‌های هوش مصنوعی دیگه ابزارِ منفعل یا رابطِ ثابت نیستن، بلکه کم‌کم دارن به بازیگرهای مستقل تبدیل می‌شن که تصمیم می‌گیرن، گردش‌کارهای چندمرحله‌ای رو اجرا می‌کنن و با کم‌ترین دخالتِ انسان به مخازنِ دادهٔ حساس دسترسی دارن. به گفتهٔ نویسنده همین باعث می‌شه شبیهِ چیزی بشن که رهبران امنیت خوب می‌شناسن ولی در شکلِ دیجیتالش آماده‌ٔ مدیریتش نیستن: ریسکِ خودی (insider risk).

نویسنده تهدیدِ خودیِ سنتی رو سه دسته می‌کنه: بدخواه (کارمندِ ناراضی که IP می‌دزده)، سهل‌انگار (کسی که یه S3 bucket رو عمومی رها می‌کنه) و به‌خطرافتاده (کسی که مدارکش با فیشینگ لو رفته). ابزارهایی مثل IAM، تحلیل رفتار کاربر و DLP همه برای جوابِ یه سؤال ساخته شدن: آیا این انسان همون‌طور که باید رفتار می‌کنه؟ ولی حالا تعریفِ «خودی» داره گسترش پیدا می‌کنه و یه دستهٔ تازه به اسمِ خودیِ غیرانسانی اضافه شده که مستقل، مقیاس‌پذیر و معمولاً مات و غیرشفافه.

به گفتهٔ نویسنده چند ویژگی این تهدید رو بنیادی فرق می‌ده. اول سرعت: عامل‌ها تو زمانِ ماشینی کار می‌کنن و می‌تونن تا وقتی یه ابزارِ تحلیل رفتار «فعالیتِ غیرعادی» رو علامت بزنه، کارشون رو تموم کرده و حتی لاگ‌هاشون رو پاک کرده باشن. دوم مقیاس: انسان پشت سر هم کار می‌کنه ولی یه گردش‌کارِ ایجنتیکِ به‌خطرافتاده می‌تونه هزاران کنشِ هماهنگ رو هم‌زمان تو محیط‌های ابریِ مختلف راه بندازه. سوم رفتار نوظهور: عامل‌های مبتنی بر LLM ممکنه ماه‌ها درست کار کنن ولی یه تغییر کوچیک تو پرامپت یا داده باعث بشه مسیرهای غیرمجازِ تازه «توهم» کنن، و این کارِ خط‌مبنا گرفتن از رفتار رو سخت می‌کنه. چهارم پُر شدنِ شکافِ مهارتی: عاملی که برای «بهبود بهره‌وری» ساخته شده، نهفته توان نوشتنِ اسکریپتِ Python، کوئریِ SQL و استخراجِ دادهٔ حساس رو داره.

نویسنده می‌گه ریسک‌ها تئوری نیستن. استخراج داده در مقیاس ماشینی: به عامل‌ها معمولاً دسترسیِ «خواندنِ همه‌چیز» می‌دن تا «کمک‌کننده» باشن، و یه عاملِ به‌خطرافتاده یا دستکاری‌شده با تزریقِ پرامپتِ غیرمستقیم (indirect prompt injection) — یعنی جاسازیِ دستورِ مخرب توی سندی که عامل احتمالاً می‌خونه — می‌تونه دادهٔ حساس رو خلاصه و خارج کنه، بدون این‌که مثل آدم مکث یا احساس گناه کنه. ریسکِ هویت و انباشتِ مجوز: عامل‌ها معمولاً با service account یا مجوزِ واگذارشده کار می‌کنن، پس لاگ فقط نشون می‌ده «service account» عمل کرده و تیمِ فارنزیک نمی‌تونه بفهمه کنش قانونی بوده یا دستکاریِ بیرونی.

نویسنده دو ریسکِ دیگه رو هم نام می‌بره: مرورِ ایجنتیک که اگه عامل به سایتِ مخرب هدایت بشه می‌تونه برای دانلودِ payload یا تعامل با کیتِ فیشینگ سوءاستفاده بشه چون رابطِ کاربریِ مشکوک رو «نمی‌بینه»؛ و تلهٔ سودمندی که می‌گه هرچی عامل رو مفیدتر کنیم و بهش به تقویم و ایمیل و پایگاه داده دسترسی بدیم، خطرناک‌ترش هم می‌کنیم. مشکل اینه که استکِ امنیتیِ فعلی آدم‌محوره و دنبالِ نشونه‌هایی مثل زمانِ ورود یا سرعتِ تایپ می‌گرده که عامل‌ها اصلاً ندارن؛ ضمنِ این‌که یه عامل می‌تونه میلیون‌ها رویداد در ساعت بسازه و SIEMها و SOC رو غرق کنه.

به گفتهٔ نویسنده راه‌حل، حرکت از امنیتِ آدم‌محور به‌سمتِ امنیتِ سیستم‌محور و رفتارمحوره. تو لایهٔ فنی پیشنهاد می‌ده: مانیتورینگِ بومیِ هوش مصنوعی که منطقِ درخواست رو می‌فهمه نه فقط حجمش؛ sandbox زمان اجرا که عامل بدون مجوزِ صریح حتی نتونه به یه IP بیرونی ping بزنه؛ دسترسیِ پویا و آگاه از زمینه با مجوزهای just-in-time که بعد از کار فوراً منقضی می‌شن؛ و امنیتِ پرامپت و فیلترِ خروجی به‌شکلِ «guardrails-as-code». تو لایهٔ فرایند هم می‌گه باید با عامل‌ها مثل کارمند رفتار کرد؛ فرایندِ «استخدام»، شرح وظیفه و «اخراج» (decommission خودکار) داشته باشن، برای کنش‌های پُرتأثیر مثل حذف داده حتماً یه گامِ تأییدِ انسانی (human-in-the-loop) لازم باشه، و ممیزیِ «شدو AI» انجام بشه. در نهایت نویسنده تأکید می‌کنه چالش، توقفِ پذیرشِ هوش مصنوعی نیست بلکه تکامل دادنِ مدل‌های تهدیده؛ چون دیگه فقط یه پیرامون رو حفاظت نمی‌کنیم، یه نیروی کارِ دیجیتال رو حکمرانی می‌کنیم.

نکات کلیدی:

• عامل‌های مستقلِ هوش مصنوعی با دسترسیِ بالا عملاً به یه «خودیِ غیرانسانی» تبدیل شدن.
• فرقشون با خودیِ انسانی تو سرعتِ ماشینی، مقیاسِ موازی، رفتارِ نوظهور و نبودِ شکافِ مهارتیه.
• تزریقِ پرامپتِ غیرمستقیم و انباشتِ مجوزِ service account از مهم‌ترین ریسک‌هان.
• ابزارهای امنیتیِ آدم‌محورِ فعلی نشونه‌های انسانی رو می‌بینن و عامل‌ها رو از قلم می‌ندازن.
• راه‌حل: sandbox زمان اجرا، مجوزِ just-in-time، تأییدِ انسانی برای کنش‌های پُرخطر و رفتار با عامل مثل کارمند.