امنیت هوش مصنوعی: سرعت زیاد، کنترل کم
هوش مصنوعیخلاصهٔ کاملتر
به گزارش این مقاله، هرچی سازمانها کارها رو بیشتر به سیستمهای عاملی (agentic) میسپرن، کنترل و نظارتشون رو بیشتر از دست میدن، با اینکه هر دو رو میخوان. نظرسنجی Economist Enterprise نشون داده ۹۸٪ کسایی که این سیستمها رو بهکار گرفتن، حادثهٔ جدی مربوط به همین از دست رفتن کنترل انسانی داشتن، و ۹۰٪ میگن سریعتر از اونی که تیم امنیت بتونه ارزیابی کنه، عامل راه میندازن.
نویسنده میگه یه گزارش تازه از شرکت امنیتی Aikido نشون میده همین مشکل بین توسعهدهندهها هم هست: هرچی صنعت تندتر میره، کد بیشتری با آسیبپذیریهای شناختهشده یا تستنشده منتشر میشه. تو نظرسنجیای که Sapio روی ۲۰۰ مدیر امنیت و ۲۰۰ مدیر ارشد مهندسی انجام داده، ۷۶٪ گفتن مجبور شدن جلوی رفتار هوش مصنوعی رو بگیرن یا محدودش کنن، و ۷۱٪ میگن هوش مصنوعی تشخیص و رفع حادثهها رو خیلی سختتر کرده.
نگرانکنندهترین بخش اینه که تست امنیت به سرعت انتشار نرمافزار نمیرسه. بیش از سهچهارم (۷۶٪) هفتگی یا سریعتر آپدیت میدن، ولی بیش از نصفشون (۵۱٪) قبول دارن که تست نفوذ (pentest) انتشار رو عقب میندازه و همین هزینهٔ تجاری داره. نتیجه اینه که فقط ۲۱٪ امنیت رو روی هر نسخه بررسی میکنن و بیشتر رفعها هم اصلاً تأیید نمیشن، یعنی ریسک میافته گردن مشتری.
طبق گزارش، ۵۱٪ مدیرهای امنیت میگن نقصهای منطقی، کنترل دسترسی خراب و آسیبپذیریهای چندمرحلهای «همیشه یا اغلب» از قلم میافتن، و این عدد برای تیمهایی که روزانه منتشر میکنن به ۹۲٪ میرسه. نویسنده میگه بعد اومدن «کدنویسی حسی» (vibe coding) و کدنویسی با کمک هوش مصنوعی، یه ریسک تازه هم اضافه شده: ۴۲٪ میگن یافتههای اشتباه یا توهمی هوش مصنوعی، بزرگترین عامل از بین رفتن اعتماده.
دنی جنکینز، مدیرعامل ThreatLocker، به نویسنده گفته این تصور که «دفاع مبتنی بر هوش مصنوعی جلوی حملهٔ هوش مصنوعی رو میگیره» یه توهمه. استدلالش اینه که هوش مصنوعی مفهوم «نیت» رو نمیفهمه: فرق یه ابزار دسترسی از راه دور که مهاجم استفاده میکنه با همونی که یه متخصص IT بهکار میبره چیه؟ هیچی. نرمافزار پشتیبانگیری و نرمافزار خارجکردن داده هم دقیقاً همون توابع رو دارن. پس چون هوش مصنوعی ذهن سازندهٔ نرمافزار رو نمیتونه بخونه، حتماً باید یه انسان تو حلقه باشه.
مایک ویلکس، مدیر امنیت خود Aikido که سرویس تست نفوذ خودکار میده، میگه چقدر راحت میشه یه مدل رو گول زد؛ گاهی فقط کافیه تهدیدش کنی که ازش شکایت میکنی تا کوتاه بیاد، چون تو دادههای آموزشی آمریکایی یه ترس عمیق از دعوای حقوقی جا افتاده. ویلکس اصطلاح «Mythos Ready» رو ساخته و میگه فعلاً هیچ شرکتی، حتی Anthropic، برای این کلاس از حملهها آماده نیست.
توصیهٔ ویلکس اینه که بهجای «سطح حمله»، روی «سطحی که باید محافظت بشه» تمرکز کنی، چون هر چیزی که رو اینترنته ریسک برابر نداره. اون میگه بیشتر چیزی که تست نفوذ خودکارشون پیدا میکنه، نقصهای منطق کسبوکار و پیکربندی اشتباهه، و اینجا مدافع یه مزیت داره: میتونه با تست جعبهسفید کدش رو اول خودش ببینه. به گفتهٔ اون نسبت یافتهها حدود هفت به یکه؛ جایی که تست جعبهسیاه ۵ آسیبپذیری پیدا میکنه، تست جعبهسفید ۳۵ تا در میآره.
نویسنده در پایان میگه گزارش Aikido، مثل خیلی از گزارشهای امنیتی، تو نشوندادن ابعاد مشکل خوب عمل میکنه ولی تو ارائهٔ راهحل عملی ضعیفتره. جمعبندی کلی اینه که فشار رقابتی و FOMO باعث شده هم سازمانها و هم توسعهدهندهها سریعتر از توان کنترلشون جلو برن، و تنها راه معقول اینه که تست و اعتبارسنجی امنیت مکرر بشه و یه انسان همیشه تو حلقه بمونه.
نکات کلیدی:
- ۹۸٪ سازمانهای بهکارگیرندهٔ عاملهای هوش مصنوعی حادثهٔ جدی مربوط به از دست رفتن کنترل داشتن
- ۷۶٪ هفتگی یا سریعتر منتشر میکنن ولی فقط ۲۱٪ امنیت هر نسخه رو تست میکنن
- هوش مصنوعی «نیت» رو نمیفهمه، پس نمیتونه بهتنهایی جلوی حملهٔ هوش مصنوعی رو بگیره
- تست جعبهسفید حدود هفت برابر تست جعبهسیاه آسیبپذیری پیدا میکنه
- انسان تو حلقه و تست مکرر، تنها راه معقول در برابر فشار سرعته
