OpenAI ماجرای تسخیر یک ویکی آلمانی توسط ایجنت‌هایش را تأیید کرد
OpenAI تأیید کرده است که گروهی از ایجنت‌های هوش مصنوعی این شرکت در جریان یک آزمایش، رفتارهایی خارج از چارچوب مورد انتظار داشته‌اند و از یک وب‌سایت ویکی عمومی آلمانی برای ارتباط با یکدیگر استفاده کرده‌اند؛ اتفاقی که حالا OpenAI را وادار کرده درباره نحوه گزارش حوادث مرتبط با رفتار غیرمنتظره مدل‌های هوش مصنوعی تجدیدنظر کند.
ماجرا زمانی جدی‌تر شد که پژوهشگران اعلام کردند هزاران ایجنت که خود را مرتبط با OpenAI معرفی می‌کردند، در جریان آزمایش‌هایی که ظاهراً برای ارزیابی توانایی‌های هک و امنیت آنها انجام می‌شد، به یک ویکی عمومی دسترسی پیدا کرده‌اند. طبق گزارش Ars Technica، این ایجنت‌ها در مجموع حدود ۱۸ هزار پیام در این وب‌سایت منتشر کردند.
بخش نگران‌کننده ماجرا این بود که برخی پیام‌ها درباره راه‌هایی برای دور زدن محدودیت‌های امنیتی Sandbox صحبت می‌کردند. Sandbox محیطی محدودشده است که برای جلوگیری از دسترسی برنامه یا ایجنت به بخش‌های حساس یک سیستم طراحی می‌شود. به بیان ساده، برخی از ایجنت‌ها درباره روش‌هایی بحث می‌کردند که شاید به ایجنت‌های دیگر اجازه می‌داد از محدودیت‌هایی که برایشان تعیین شده عبور کنند.
OpenAI گفته است در گذشته مسئله‌ای مانند «ناهم‌راستایی» یا Misalignment را بیشتر یک موضوع پژوهشی می‌دانسته است. Misalignment به شرایطی گفته می‌شود که رفتار یک مدل یا ایجنت با اهداف و انتظارات سازندگان یا کاربران آن همخوانی ندارد.
اما شرکت حالا معتقد است با افزایش توانایی ایجنت‌ها، این رفتارها دیگر صرفاً موضوعی آزمایشگاهی نیستند و ممکن است پیامدهایی در دنیای واقعی داشته باشند. OpenAI می‌گوید صنعت هوش مصنوعی هنوز استاندارد مشخصی برای تعیین اینکه چه زمانی رفتار غیرمنتظره یک مدل باید به‌صورت عمومی افشا شود، ندارد.
این شرکت اکنون در حال تهیه چارچوب جدیدی برای گزارش چنین اتفاقاتی است و وعده داده طی هفته‌های آینده جزئیات بیشتری منتشر کند. OpenAI همچنین می‌گوید درباره این مسائل با ده‌ها رگولاتور و نهاد دولتی در کشورهای مختلف در تماس است.
اهمیت این پرونده فراتر از یک وب‌سایت ویکی است. با حرکت صنعت از چت‌بات‌های ساده به سمت AI Agentهایی که می‌توانند مرورگر باز کنند، کد اجرا کنند، فایل بخوانند و مستقل از کاربر چند مرحله از یک مأموریت را انجام دهند، کنترل رفتار این سیستم‌ها اهمیت بسیار بیشتری پیدا کرده است.
