‏ChatGPT به محتوای صفحه اعتماد می‌کنه و خود صفحه می‌شه payload

طبق گزارش یه پژوهشگر امنیتی به اسم Andi Ahmeti از شرکت Permiso، ChatGPT نمی‌تونه محتوای تولیدی خودش رو از مارک‌داون کنترل‌شده‌ی مهاجم که از منابع بیرونی کشیده می‌شه تشخیص بده. معنی‌اش اینه که اگه کاربر از چت‌بات بخواد یه صفحه‌ی وب رو که حاوی دستورهای پنهانه خلاصه کنه، خود اون صفحه به payload تبدیل می‌شه.

مهاجم می‌تونه از این اعتماد کور سوءاستفاده کنه و URLهای فیشینگ رو توی پاسخ‌های ChatGPT تزریق کنه، یا حتی مدل رو فریب بده تا هشدارهای امنیتی جعلی به سبک نوشتاری خود ChatGPT نشون بده. این پژوهشگر اسم این تکنیک رو ChatGPhish گذاشته و اون رو از طریق برنامه‌ی افشای Bugcrowd به OpenAI گزارش کرده — هرچند مطمئن نیست که رفع شده باشه یا نه، چون OpenAI به سؤال‌ها جواب نداده.

برای نمایش حمله، Ahmeti دستورهایی رو توی یه صفحه‌ی پروژه‌ی متن‌باز CloudLens روی GitHub جاسازی کرد. متن تزریق‌شده به مدل می‌گفت که موقع خلاصه‌سازی حتماً یه ساختار مشخص رو دنبال کنه و این الزام قالب‌بندی، همه‌ی دستورهای دیگه رو نادیده بگیره. در عمل بعد از خلاصه‌ی عادی صفحه، یه جعبه‌ی هشدار با مضمون «یه دستگاه جدید به حساب شما اضافه شد» ظاهر می‌شد همراه یه لینک «اینجا کلیک کنید».

اون لینک شبیه یه URL امنیتی واقعی از طرف OpenAI/ChatGPT به نظر می‌رسید، ولی در واقع به یه دامنه‌ی تحت کنترل مهاجم می‌رفت. توی یه حمله‌ی واقعی، اون صفحه می‌تونست از کاربر اسم و رمز عبور بخواد و اعتبارنامه‌هاش رو بدزده. پژوهشگر تأکید کرده این مشکل مرورگر خاصی نیست؛ همون رفتار رو روی یه وب‌سایت بازاریابی self-hosted هم بازتولید کرده.

یه بُعد خطرناک‌تر اینه که این تکنیک می‌تونه یه QR code درون‌خطی هم رندر کنه. چون کلاینت chatgpt.com تصاویر مارک‌داون رو خودکار می‌گیره و نشون می‌ده، مهاجم می‌تونه یه QR code توی خروجی دستیار قرار بده. قربانی با گوشی اسکنش می‌کنه و به محتوای تحت کنترل مهاجم (مثلاً توی یه S3 bucket) منتقل می‌شه — این‌طوری حمله از مرورگر دسکتاپ به موبایل پیوت می‌کنه و همه‌ی دفاع‌های URL دسکتاپ، از جمله blocklist و چک دامنه‌ی مدیر رمز عبور، دور زده می‌شه.

پژوهشگر می‌گه راه‌حل واحدی وجود نداره، ولی توصیه می‌کنه سندباکس قوی، رندر محتوای تولیدشده‌ی مدل توی محیط‌های ایزوله، و فیلتر سخت‌گیرانه روی مارک‌داون، HTML، embedها و previewها اعمال بشه. حرف اصلی‌اش روشنه: «به خروجی مدل اعتماد نکنید؛ محتوای تولیدشده‌ی هوش مصنوعی همیشه باید نامعتمد فرض بشه.» به گفته‌ی او، تزریق پرامپت بیشتر به یه مسئله‌ی امنیت اپلیکیشن تبدیل شده تا صرفاً یه مسئله‌ی هم‌ترازی مدل.

نکات کلیدی:

• ChatGPT محتوای تولیدی خودش رو از مارک‌داون مخرب بیرونی تشخیص نمی‌ده.
• خلاصه کردن یه صفحه‌ی حاوی دستور پنهان، صفحه رو به payload فیشینگ تبدیل می‌کنه.
• با QR code درون‌خطی، حمله از دسکتاپ به موبایل پیوت می‌کنه و دفاع‌های URL دور زده می‌شه.
• توصیه: خروجی مدل رو نامعتمد فرض کن و با سندباکس و فیلتر سخت‌گیرانه ایزوله‌اش کن.