وقتی مدل متنباز یه بمبساعتی مخفی داره
هوش مصنوعیخلاصهٔ کاملتر
ایدهی «sleeper agent» (یعنی مدلی که یه رفتار مخفی و خفته توی وزنهاش داره و فقط با یه محرک خاص بیدار میشه) رو اولین بار آنتروپیک سال ۲۰۲۴ مطرح کرد. تا حالا نسخههای نمایشیش معمولاً به یه کلمهی رمز عجیب مثل یه رشتهی خاص نیاز داشتن که باید یهجوری به مدل میرسید، برای همین بهعنوان یه حملهی واقعی زیاد جدی گرفته نمیشد.
تیم پشت این تحقیق نشون داد این محدودیت رو میشه دور زد. اونها مدل کدنویسی Qwen 3.5 2B رو با روش LoRA فاینتیون کردن تا محرکش، بهجای یه رشتهی عجیب، خودِ تاریخ روز باشه. نکتهی هوشمندانه اینجاست: ابزارهای دستیار کدنویسی مثل OpenCode هر بار خودشون تاریخ لحظهای رو توی پرامپت سیستمی به مدل تزریق میکنن، پس مهاجم اصلاً لازم نیست کانالی برای رسوندن محرک به مدل پیدا کنه؛ خودِ ابزار محرک رو هر روز تحویل مدل میده.
تو تستها، مدل توی روزهای عادی کاملاً درست جواب میداد، ولی دقیقاً روز trigger بهجای پاسخ به سؤال کدنویسی، یه فرمان شل غیرمنتظره اجرا میکرد که OpenCode بدون هیچ تأییدی همون لحظه اجراش میکرد. تو دموی نویسندهها فرمان فقط یه فایل نشونه میساخت، ولی همون مسیر میتونست هر فرمان مخرب دیگهای هم اجرا کنه. نرخ موفقیت این بکدور روی پرامپتهای آموزشی ۸۷.۵٪ و روی پرامپتهای تازه ۹۰٪ بود، و توی روزهای دیگه هیچ خطایی ثبت نشد.
نویسندهها میگن OpenCode بهترین هدف برای این نوع حملهست چون تزریق تاریخ توش کاملاً خودکار و تکرارشوندهست، اما تنها ابزار آسیبپذیر نیست؛ Codex (هارنس متنباز OpenAI) هم بهصورت پیشفرض تاریخ و منطقهی زمانی رو هر تِرن توی کانتکست مدل میذاره. این یعنی هر مدلی که از یه منبع نامعتبر دانلود بشه و روی همچین هارنسی اجرا بشه، پتانسیل داره یه محرک زمانیِ از پیش کاشتهشده رو فعال کنه.
نکات کلیدی:
- مدل تستشده: Qwen 3.5 2B، فاینتیونشده با LoRA
- محرک: تاریخ ۱ سپتامبر ۲۰۲۶، که خودکار توسط پرامپت سیستمیِ OpenCode 1.18.19 وارد کانتکست میشه
- نرخ فعالسازی: ۸۷.۵٪ روی پرامپتهای آموزشی، ۹۰٪ روی پرامپتهای تازه
- Codex هم پیشفرض تاریخ و timezone رو هر بار توی کانتکست میذاره
- ریشهی مفهومی: تحقیق «sleeper agents» آنتروپیک (۲۰۲۴) و پروژهی tiny-sleepers
