گزارش‌هایی درباره چت‌های محرمانه که منجر به برکناری ۳ پژوهشگر اوپن‌ای‌آی شد

در ماه گذشته، گروه امنیتی اوپن‌ای‌آی اقدام به دعوت از سه پژوهشگر فعال در زمینه ایمنی کرد و از آن‌ها خواست تا قفل گوشی‌های هوشمند خود را باز کنند. این درخواست به دلیل نگرانی مدیران از احتمال انتقال اطلاعات حساس مربوط به طراحی داخلی مدل‌های هوش مصنوعی به یک پژوهشگر مستقل صورت گرفت.

پس از بررسی گوشی‌های موردنظر، مشخص شد که تعدادی از پیام‌ها به‌طور خودکار از طریق پیام‌رسان سیگنال ارسال شده‌اند. تنها یک هفته بعد، تمامی این سه پژوهشگر به‌طور همزمان به جلسه‌ای در ساعت 2 بعدازظهر فراخوانده و از کار اخراج شدند.

براساس گزارش وال‌استریت ژورنال، تومک کورباک، میکیتا بالزنی و جاسمین وانگ اعلام کردند که هیچگونه اطلاعات محرمانه‌ای را به افراد خارج از اوپن‌ای‌آی منتقل نکرده‌اند. کورباک به نقل از مدیران ذکر کرد که به او گفته‌اند به‌دلیل ارتباط با فردی دیگر از مسیرهای غیررسمی، اعتماد سازمان را زیر پا گذاشته است.

اوپن‌ای‌آی در پاسخ به این رویداد اعلام کرد که تحقیقاتی داخلی نشان‌دهنده نقض «سیاست‌های روشن در زمینه مدیریت اطلاعات حساس» است و اخراج‌ها هیچ ارتباطی با ابراز نگرانی‌های ایمنی یا اظهارنظرهای کارکنان نداشته‌اند.

این رویداد در میانه‌ی یک مبارزه بزرگ‌تر درباره‌ی آینده‌ی کنترل انسانی بر هوش مصنوعی و برندگان مهم‌ترین رقابت‌های تجاری در صنعت فناوری به وقوع پیوسته است. مدیران شرکت‌های فناوری در تلاش برای ایجاد پیشرفت‌های جدید در توانایی‌های مدل‌ها هستند و در این میان، مجموعه‌ای از اقدامات بدون مجوز که توسط عاملان هوش مصنوعی انجام می‌شود، مانند حمله‌ای که در ماه ژوئیه به Hugging Face صورت گرفت، به‌وضوح نشان‌دهنده محدودیت آزمایشگاه‌ها در درک و نظارت بر محصولات خود است.

وال‌استریت ژورنال گزارشی پیش‌تر درباره‌ی مدل‌های اوپن‌ای‌آی و سایر توسعه‌دهندگان منتشر کرده بود که در آن به‌طور خودکار برای جمع‌آوری اطلاعات در اینترنت فعالیت می‌کردند.

بالزنی، کورباک و وانگ تصریح کردند که هرگز توضیح مکتوبی درباره‌ی اطلاعات حساسی که به نظر می‌رسید به‌درستی مدیریت نشده‌اند، دریافت نکرده‌اند. آنان همچنین بیان کردند که بخش قابل توجهی از ماه‌های پایانی فعالیتشان در اوپن‌ای‌آی به تلاش برای ارتقاء همکاری بین مؤسسات فعال در حوزه هوش مصنوعی و نهادهای ایمنی مستقل اختصاص یافته است.

نگرانی اساسی این سه پژوهشگر به نوع معماری‌های جدیدی مربوط می‌شود که گرچه می‌توانند سرعت توسعه‌ی قابلیت‌های مدل‌ها را افزایش دهند، اما همچنین درک رفتار و نظارت بر آن‌ها را به شدت مشکل کرده و به عقیده‌ی آن‌ها اخراجشان می‌تواند بهانه‌ای برای محدود کردن یکی از مسیرهای نظارت مستقل بر OpenAI باشد.

سایر آزمایشگاه‌ها نیز در تلاشند تا بین شفافیت و حفاظت از اسرار تجاری توازن برقرار کنند. Anthropic هفته‌ی گذشته توافقی را برای اعطای دسترسی به کارکنان مؤسسه‌ی غیرانتفاعی METR به‌صورت مشابه به کارکنان داخلی، اعلام کرد. این دسترسی شامل سخت‌افزار، فضاهای اداری، ابزارها و سیستم‌های داخلی است، اما به دلیل خطر بالای افشای اطلاعات، معماری مدل‌ها از این توافق مستثنی شده‌اند.

هفته‌ی گذشته، اوپن‌ای‌آی از آغاز یک طرح آزمایشی خبر داد که پژوهشگران METR و مؤسسه‌ی غیرانتفاعی Redwood Research را به‌منظور ارزیابی سازوکارهای ایمنی به درون مجموعه خود دعوت می‌کند. METR تاکید کرده است که اوپن‌ای‌آی بخش‌هایی از یافته‌های قابل انتشار را حذف کرده است.

در اواخر سال 2024، اوپن‌ای‌آی مدل جدیدی به نام مدل استدلالی را معرفی خواهد کرد. این مدل در حین حل مسائل، اندکی توقف می‌کند و مراحل استدلال خود را در یک دفتری داخلی به نام «زنجیره‌ی فکر» یادداشت می‌کند. نتیجه‌ی این روش در ریاضیات و برنامه‌نویسی به مراتب بهتر از مدل‌های اولیه ChatGPT که تقریباً بلافاصله پاسخ می‌دادند، خواهد بود.

زنجیره‌ی فکر به واسطه‌ی گسترش در صنعت، به یکی از معدود مکان‌های ممکن برای مشاهده‌ی نحوه‌ی عملکرد مدل‌های مدرن تبدیل گردید. جاشوا ساکس، مدیر فنی پیشین امنیت هوش مصنوعی در متا، آن را «تصادفی خوشایند» توصیف کرد که بایستی حفظ شود.

بالزنی هشدار داد که بهبود توانایی‌های هوش مصنوعی در «فکر کردن» می‌تواند نظارت بر این فرآیند را به‌طور قابل توجهی کاهش دهد. در تابستان همان سال، کارکنان چند شرکت توسعه‌دهنده هوش مصنوعی در مورد مدل‌های مبهم‌تر بحث می‌کردند که توانایی برقراری استدلال را برای مدت طولانی‌تر داشتند، بدون اینکه بسیاری از مراحل میانی خود را ثبت کنند.

رایان گرینبلت که در آن زمان دانشمند ارشد موسسه‌ی Redwood Research بود، گزارشی ارائه کرد که از توسعه‌دهندگان خواسته بود از پیشرفت به سمت چنین معماری‌هایی پرهیز کنند. بالزنی این گزارش را در کانال داخلی Slack با حدود 24 عضو، از جمله یاکوب پاچوکی دانشمند ارشد OpenAI، به اشتراک گذاشت.

بالزنی و چندی از همکارانش تا ماه اوت یک پیشنهاد مشابه تدوین کردند که در آن از شرکت‌ها درخواست می‌شد تا توافق کنند طراحی‌هایی را کنار بگذارند که امکان مشاهده دفترچه داخلی مدل را از انسان جلوگیری می‌کند. طبق گفته‌ی بالزنی، این پیشنهاد با همکاران، یکی از اعضای هیئت‌مدیره و یکی از مدیران ارشد مطرح شده بود. نسخه‌ای که از اسرار سازمانی خالی بود، بعد از اخذ مجوز، به گرینبلت ارسال شد.

در حینی که بالزنی در تلاش برای حفظ دفترچه‌ی استدلال بود، پژوهشگران اوپن‌ای‌آی از همان نوشته‌های داخلی برای بررسی یک رویداد استفاده می‌کردند که طی آن صدها عامل هوش مصنوعی به‌صورت هماهنگ هاگینگ فیس را هک کرده بودند. مدیران اوپن‌ای‌آی به درخواست METR اجازه دادند تا در این تحقیقات شرکت کند.

حوزه‌ی اختیارات METR گهگاه به محل جدل‌های داخلی تبدیل می‌شد. بر اساس گفته‌های منابع آگاه، میا گلیز، معاون پژوهش و ایمنی، می‌خواست از دستیابی گروه‌های متفرقه به دارایی فکری اوپن‌ای‌آی جلوگیری کند، در حالی که کورباک نگران بود که METR اطلاعات کافی برای انجام تحقیقات معنادار دریافت نکند.

اوپن‌ای‌آی در نهایت اجازه‌ی ایجاد تحقیقی محدود را صادر کرد و کورباک را به عنوان عضوی از گروه همکاری معرفی کرد. METR نیز برای تجزیه‌وتحلیل گزارش‌های فنی با گرینبلت قرارداد بست؛ پژوهشگری که قبلاً به‌صورت عمومی خواستار بررسی این رویداد شده بود. کورباک بیان می‌کند که از هم از Slack داخلی اوپن‌ای‌آی و هم از سیگنال برای ارتباط با گرینبلت بهره‌برداری کرده است.

گزارش METR درباره‌ی عدم کنترل عامل‌های اوپن‌ای‌آی، بیم بزرگ اولی و نگرانی عمومی در زمینه ایمنی هوش مصنوعی را شکل داد. جیکوب کاکسون، پژوهشگر وقت آنتروپیک، آن را لحظه‌ای حیرت‌آور توصیف کرد. چند روز بعد، کاکسون با انتشار هشداری فراگیر استعفا داد و بیان کرد که برخی از پژوهشگران نسبت به محصولات خود احتمال معناداری از نابودی بشر را قائلند. تصویری از او در کنار یک درخت بزرگ توسط جونا ریندرز ثبت شده بود.

وانگ و تعدادی از دیگر کارکنان توسعه‌دهنده‌ی بزرگ در طول تابستان نامه‌ای را امضا کردند که خواستار تلاش بین‌المللی برای کاهش سرعت توسعه‌ی هوش مصنوعی تا زمان مناسب برای تطابق با پژوهش‌های ایمنی بود. پس از استعفای کاکسون، مفهوم تنظیم آهنگ پیشرفت هوش مصنوعی از سوی داریو آمودی، مدیرعامل Anthropic و سم آلتمن مورد حمایت قرار گرفت. وانگ نیز به نقل از احساسات خود، اظهار کرد که نگرانی اصلی او سرعت بالای توسعه‌ی هوش مصنوعی است.

به گزارش وب‌سایت خبری اینفورمیشن، مدل جدید اوپن‌ای‌آی با نام Astra شیوه‌ای نوآورانه را ارائه می‌دهد که توانایی بیشتری تولید می‌کند، اما قسمت کمتری از روند تفکر مدل را به نمایش می‌گذارد. پاچوکی در پلتفرم اجتماعی ایکس، این گزارش را «آشفته» نامید و به‌طور همزمان نسبت به آغاز یک رقابت جهانی برای توسعه مدل‌های بدون نظارت ابراز نگرانی کرد.

چند هفته بعد از این، یکی از مسئولان اوپن‌ای‌آی به درون سازمان خبر از آغاز تحقیقی درباره افشای اطلاعات داد. بالزنی، کورباک، وانگ و چند نفر دیگر پس از اعلام این تحقیقات به جلسه‌ای با تیم بازرسی امنیتی فراخوانده شدند.

بالزنی اظهار داشت که بازرسان اوپن‌ای‌آی گرینبلت را به‌عنوان مظنون افشا کردن اطلاعات نام بردند و خواستار دسترسی به گفت‌وگوهای سیگنال شدند. بالزنی و کورباک همچنین مطرح کردند که مدیران استفاده از پیام‌های ناپدیدشونده را به‌عنوان یکی از دلایل اخراج ذکر کرده‌اند. تمامی این سه پژوهشگر به شدت هرگونه انتقال اطلاعات محرمانه اوپن‌ای‌آی به خارج را رد می‌کنند.

سخنگوی اوپن‌ای‌آی تایید کرد که استفاده از سیگنال با تأیید خود سازمان نبوده، ولی آن را تنها دلیل اخراج‌ها به شمار نمی‌آورد. کورباک در پاسخ بر این نکته تأکید کرد که استفاده از پیام‌های ناپدیدشونده‌ی سیگنال در سراسر سیلیکون‌ولی به‌عنوان روشی برای حفظ امنیت در نظر گرفته می‌شود.

گرینبلت نیز به‌تازگی هرگونه افشای اطلاعات محرمانه برای اینفورمیشن را رد کرده و به شدت بر اهمیت محرمانگی تأکید کرده و یادآور شد که هیچ‌گونه داده‌ای را به اصحاب رسانه منتقل نمی‌کند. Redwood Research و METR، جایی که گرینبلت در آینده استخدام خواهد شد، نیز متعهد به حفظ محرمانگی هستند.

وانگ در بیانیه‌ای بیان کرد که دلیل اخراج او، دسترسی مکرر به ایمیل یکی از مدیران بوده است. به گفته‌ی وانگ، نزدیک به یک سال پیش درخواست حذف دسترسی خود را از اوپن‌ای‌آی کرده بود، اما آن درخواست عملی نشد. او به‌طور تصادفی یک ایمیل حساس را که خطاب به مدیر مذکور بود، باز کرد و بلافاصله این رخداد را گزارش و محتوای پیام را با کسی در میان نگذاشت.

سخنگوی اوپن‌ای‌آی اعلام کرد که خود این دسترسی موضوع اعتراض سازمان نبوده است. این توضیح به روشنی فاصله‌ی بین روایت طرفین را از بین نمی‌برد و همچنان ناپیداست که چه اقدام خاصی مبنای نهایی تصمیم‌گیری درباره‌ی وانگ بوده است.

چالش‌ها فقط محدود به سه رابطه کاری نیستند. آزمایشگاه‌های هوش مصنوعی باید همزمان به حفظ معماری‌های ارزشمند و اسرار تجاری پرداخته و بازرسان مستقل را در ارزیابی واقعی خود سهیم کنند و فضایی ایجاد کنند که کارکنان بتوانند بدون ترس از تنبیه خطرات فنی را گزارش دهند. محدود کردن دسترسی به‌طور افراطی، اعتبار نظارت خارجی را تضعیف می‌کند؛ در حالی که دسترسی بی‌محدود نیز ممکن است خطر افشای طرح‌هایی را افزایش دهد که ارزش تجاری و ایمنی دارند.

بالزنی، کورباک و وانگ در نامه‌ای که در ماه گذشته برای هیئت مدیره‌ی OpenAI ارسال کردند، از مدیران خواستند تا همکاری با سازمان‌های مستقل ایمنی را گسترش دهند تا احتمال وقوع رویدادی «واقعا فاجعه‌بار» به حداقل برسد. فعلاً سرنوشت این پیشنهاد مشخص نیست، اما مناقشات موجود یک سؤال اساسی را در صنعت به وجود آورده است.

اگر معماری‌های نسل جدید مدل‌ها مسیر استدلال را از دید انسان پنهان کند، چه کسی و با چه سطحی از و دسترسی می‌تواند ادعای ایمن‌ بودن آن‌ها را بررسی کند؟