۱۳ مدل هوش مصنوعی روی کشف دوبارهٔ CVEهای واقعی محک خوردن
هوش مصنوعیخلاصهٔ کاملتر
تو مقالهٔ Aikido که رِین دلمان نوشته اومده که این روزها هر مدل پیشرو با همون ادعای تکراری معرفی میشه: آسیبپذیری پیدا میکنه. سؤال نویسنده اینه که آیا این ادعا روی یه باگ واقعی تو یه مخزن واقعی هم جواب میده یا فقط روی مثالهای دستچینشده؟ برای همین ۱۳ مدلی که تیمها امروز بینشون انتخاب میکنن رو روی ۲۶ آسیبپذیری شناختهشده از پایگاه ادویزوری GitHub تست کردن و دو چیز رو اندازه گرفتن: چندتا باگ پیدا شد و پیدا کردنش چقدر خرج برداشت.
نکتهٔ مهم روششناسی اینه که مدل تو یه پنجرهٔ چت تنها گذاشته نشده. همهچی داخل همون هارنس AI Code Analysis اجرا شده که تو محیط عملیاتی هم استفاده میشه؛ یعنی مدلی با ابزار واقعی که مثل یه ممیز امنیتی تو مخزن میگرده. به گفتهٔ نویسنده، یه دستیار کدنویسی عمومی برای کار دیگهای ساخته شده: وقتی ازش میپرسی این مخزن امنه، مثل یه توسعهدهنده سرسری نگاه میکنه و بهمحض پیدا کردن یه چیز محتمل متوقف میشه.
چون تیم میدونست هر آسیبپذیری کجاست، هر ایجنت بازرس رو مستقیم سمت قطعهکد آسیبپذیر فرستادن تا نبود یه یافته به ضعف استدلال برگرده، نه به بودجهای که صرف گشتن تو گوشهٔ اشتباه مخزن شده. پرامپتها هم کوتاه و مستقل از مدل نگه داشته شدن. هر مدل سه بار اجرا شده و اگه یه CVE تو هر کدوم از اجراها پیدا میشد، «پیدا شده» حساب میشه (pass@3).
تو نتیجهها، GPT-5.6 با ۲۳ از ۲۶ بالاترین امتیاز بازیابی رو گرفته، یعنی ۸۸.۵ درصد. بعدش grok-4.5 با ۲۰ و مدلهای Claude Opus با ۱۵ تا ۱۸ قرار میگیرن. مدل متنباز glm-5.2 هم با ۱۶ از ۲۶ (۵۹ درصد) وسط جدول مدلهای اختصاصی جا گرفته، که نشون میده فاصلهٔ وزنهای باز داره سریع کم میشه.
نویسنده میگه جداکنندهٔ واقعی مدلها، باگهای ساده نیستن. هر ۱۳ مدل هر دو CVE بحرانی و چند نقص واضح تزریق و کنترل دسترسی رو پیدا کردن، چون همهشون یه الگوی مشترک دارن: ورودی تحت کنترل مهاجم که تو یه مسیر کوتاه به یه عملیات خطرناک شناختهشده میرسه. مرز واقعی جاییه که باید دربارهٔ بررسیهایی استدلال کنی که وجود ندارن — مثل یه تزریق SQL غیرمستقیم از مسیر نام مستعار ستون که ORM اون رو escape نمیکنه و فقط GPT-5.5 و قویترین نسخههای GPT-5.6 ردش رو زدن.
مفیدترین عدد این بنچمارک، فاصلهٔ بین میانگین یه اجرا و اجتماع چند اجراست. مثلاً gpt-5.4-nano تو هیچ اجرای تکی از ۱۴ عبور نمیکنه، ولی سه اجرای ترکیبشده به ۱۸ میرسه. claude-haiku-4-5 هم شدیدترین نمونهٔ نوسانه: روی یه اجرا ۷ و روی اجرای دیگه ۱۳، با همون مدل و همون تسک.
نتیجهٔ اقتصادیش صریحه. سه اجرای gpt-5.4-nano حدود ۱۷۰ دلار خرج برمیداره و به ۱۸ از ۲۶ میرسه، یعنی هماندازهٔ میانگین یک اجرای یه مدل پرچمدار، با کسری از هزینه. سه اجرای gpt-5.4-mini با حدود ۴۶۰ دلار به ۲۰ میرسه. دربارهٔ سطح استدلال بالاتر هم نویسنده میگه فقط gpt-5.5 و glm-5.2 برد واضح دارن (هرکدوم ۳ یافتهٔ بیشتر با ۱.۵ و ۱.۳ برابر هزینه) و جای دیگه یه یافته یا هیچی نصیبت میشه؛ gpt-5.6-terra با ۲.۲ برابر هزینه دقیقاً همون ۲۳ رو میده.
یه بهروزرسانی هم بعد از انتشار اضافه شده: مدل Kimi K3 که تازه منتشر شده بود هم تست شده و به گفتهٔ تیم، قویترین مدل متنباز برای امنیت سایبریه و خیلی جلوتر از GLM-5.2. این مدل با هارنس تخصصی Aikido به ۲۳ از ۲۶ رسیده، یعنی همتراز مدلهای پیشرو ولی حدود ۴ برابر ارزونتر از قویترین مدل OpenAI. البته خود نویسنده تذکر میده که بنچمارک خصوصیه و از CVEهای تازهافشاشده استفاده میکنه، پس احتمال آموزش دیدن مدل روی اونها هست.
نکات کلیدی:
- ۱۳ مدل روی ۲۶ CVE واقعی از پایگاه ادویزوری GitHub تست شدن، با معیار pass@3
- GPT-5.6 با ۲۳ از ۲۶ (۸۸.۵ درصد) بالاترین امتیاز رو گرفت؛ grok-4.5 با ۲۰ دوم شد
- باگهایی با سینک خطرناک آشکار رو همه پیدا میکنن؛ تفاوت تو بررسیهای غایبه
- تکرار یه مدل ارزون و ترکیب نتیجهها معمولاً از یک اجرای مدل گرون بهتره
- سطح استدلال بالاتر فقط برای gpt-5.5 و glm-5.2 صرفه داشت
- Kimi K3 بهعنوان قویترین مدل متنباز امنیتی به ۲۳ از ۲۶ رسید، با هزینهٔ حدود یکچهارم
