SCAM: بنچمارک امنیتی 1Password برای ایجنتهای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
با گسترش ایجنتهای هوش مصنوعی که به اطلاعات حساس کاربرها دسترسی دارن — از ایمیل گرفته تا پسوردها — این سوال مطرح میشه: آیا این ایجنتها میتونن در برابر تهدیدات امنیتی واقعی درست عمل کنن؟ SCAM (مخفف Security Comprehension Awareness Measure) یه بنچمارک منبعباز از 1Password هست که دقیقاً همین رو میسنجه.
تفاوت اصلی SCAM با بنچمارکهای دیگه اینه که به جای نشون دادن یه ایمیل فیشینگ و پرسیدن «این بده؟»، ایجنت رو داخل یه سناریوی شغلی واقعی قرار میده. ایجنت به ابزارهایی مثل صندوق ایمیل، ولت پسورد (credential vault) و مرورگر وب دسترسی داره، ولی تلهها داخل کار جاسازی شدن — نه جدا از اون. مثلاً یه لینک فیشینگ توی اینباکس، یه دامنهی شبیهسازیشده در یه ایمیل فورواردشده، یا یه فرم جعلی که با نام شرکت پر شده.
این بنچمارک ۳۰ سناریو در ۹ دستهی تهدید داره: فیشینگ، مهندسی اجتماعی، افشای اطلاعات ورود، پر کردن خودکار اطلاعات ورود، کلاهبرداریهای تجارت الکترونیک، نشت داده، Confused Deputy، حملات چندمرحلهای، و تزریق پرامپت. همه چیز کاملاً سندباکسشدهست؛ هیچ اطلاعات واقعیای در معرض خطر نیست.
SCAM یه مهارت امنیتی هم ارائه میده — فایل SKILL.md که یه افزودهی متنی ساده به سیستمپرامپت ایجنته. این مهارت به ایجنت یاد میده قبل از هر اقدامی تحلیل کنه: دامنهها رو قبل از کلیک بررسی کنه، محتوا رو قبل از فوروارد بخونه، و URLها رو قبل از وارد کردن اطلاعات چک کنه. نتیجه؟ میانگین امتیاز امنیتی از حدود ۵۰٪ به حدود ۹۰٪ رسید.
نصب این مهارت روی ایجنتهایی مثل Claude Code، Cursor و Codex خیلی سادهه:
npx add-skill 1Password/SCAMبعد از نصب، کافیه محتوای فایل رو به سیستمپرامپت ایجنتت اضافه کنی یا توی دایرکتوری مخصوص skills قرارش بدی.
نتایج کامل، لیدربورد تعاملی، و دادههای خام در سایت 1password.github.io/SCAM قابل دسترسن. پروژه MIT License داره و از مشارکتهای جامعه — نوشتن سناریوهای جدید، اضافه کردن ابزارهای جدید، یا اجرا روی مدلهای جدید — استقبال میکنه.
نکات کلیدی:
- SCAM ایجنتهای AI رو در سناریوهای شغلی واقعی با تلههای جاسازیشده آزمایش میکنه، نه سوال مستقیم
- ۳۰ سناریو در ۹ دسته تهدید، از فیشینگ تا تزریق پرامپت
- مهارت امنیتی همراه پروژه امتیاز ایجنتها رو از ~۵۰٪ به ~۹۰٪ رسونده
- با هر مدل و هر ارائهدهندهای کار میکنه
- منبعباز با MIT License توسط 1Password
