نقاط ضعف جدید در هوش مصنوعی؛ ایجنت‌های هوشمند هدف فیشینگ قرار می‌گیرند
دستیارهای هوش مصنوعی خودمختار به آسانی در برابر ایمیل‌های فیشینگ مغلوب می‌شوند و در معرض حملات تزریق پرامپت قرار دارند. نفوذگران می‌توانند با مخفی کردن دستورات مخرب در پیام‌های ظاهراً بی‌خطر، به سیستم‌های پردازش زبان وادار به اجرای دستورات ناخواسته کنند.
به گزارش شرکت امنیت سایبری Malwarebytes، هکرها و حتی بات‌های منحرف به گونه‌ای عمل می‌کنند که کدهای متنی را پنهان کرده و برای چشم انسان نامشخص می‌شوند، در حالی که سامانه‌های خودکار قادر به شناسایی و اجرای آن‌ها هستند. در واقع، راه حل این مشکل فقط به بررسی مجدد ایمیل‌ها توسط انسان محدود نمی‌شود و توسعه‌دهندگان باید روش‌های خوانش داده‌ها را به طور بنیادین دگرگون کنند.
آپولو رینز، که مسئول توسعه‌ی سرویس بررسی کد ShipItClean است، بیان کرده: «مشکل اساسی در ناتوانی مدل در تفکیک میان متنی که فقط باید خوانده شود و دستوری که باید اجرا شود، نهفته است. حذف محتوای مخفی قبل از اینکه به مدل برسد، عملی ضروری است که هر شرکت باید به آن توجه کند.»
رینز همچنین اظهار داشت که کاربرانی که نسبت به ایمیل‌های مشکوک احتیاط می‌کنند، باید به کارکرد دستیار هوشمند خود نیز شک کنند. با ورود ابزارهایی نظیر Muse از متا به عرصه زندگی روزمره و سپردن وظایف مستقل به آن‌ها، خطرات به مراتب بیشتری خود را نشان می‌دهند.
پژوهشگران پیش از این نشانه‌های مشابه این نوع نفوذ را در مرورگرهای هوشمند و بات‌های شبکه اجتماعی مانند Moltbook شناسایی کرده بودند. Malwarebytes پیشنهاد می‌کند که کاربران حضور انسانی را در مراحل تصمیم‌گیری حفظ کنند تا از خطرات ناشی از این روند کاسته شود.
در بیانیه‌ای که شرکت Malwarebytes صادر کرده، آمده است: «برای استفاده از ابزارهای هوش مصنوعی در پردازش ایمیل نیازی به کنار گذاشتن آن‌ها نیست؛ اما باید به دقت سطح دسترسی و نوع اختیارات داده شده را مورد بررسی قرار داد.»
کارشناسان بر این باورند که فعالیت‌های حساس مانند امور مالی، انتقال پول یا تغییر اطلاعات حساب‌ها نیازمند تأیید نهایی انسانی هستند تا فعالیت‌های پنهان تبهکاران سایبری در استفاده از این آسیب‌پذیری‌ها محدود گردد.
