اخطار مدیر پیشین ایمنی OpenAI: مدلهای خطرناکترین همانهایی هستند که خود به آنها آموزش میدهیم

این فرد که به تازگی از سمت خود کنارهگیری کرده است، در توضیحی گفت: «یکی از غیر همراستاییهای بحرانی که در این سازمان دیدم این است که همواره به هشدار مشغول بودیم، اما نهایتاً همان مدلهای خطرناکی که نگرانشان بودیم، آموزش داده و منتشر کردیم.»
او در مصاحبهای ویدیویی با نیویورکتایمز به فضای کاری در شرکت اشاره کرد و اذعان داشت: «یک فعالیت جنونآمیز در حال وقوع است و افراد تا آخرین توان خود در حال کار کردن هستند.»
مقالهای تند در آتلانتیک
بر پایه گزارشها، وی استعفای خود را در پایان سپتامبر اعلام کرد و در تاریخ ۳ اکتبر مقالهای در مجله آتلانتیک منتشر نمود. در این مقاله وی به این نکته اشاره کرد که «خوشبینی بیحد و مرز» بستری خطرناک برای این فناوری ایجاد کرده و شرکت در زمان ارائه مدلهای جدید به اندازه کافی احتیاط نمیکند.
طبق اطلاعات رسانهای، او به مدت تقریباً سه سال و نیم در OpenAI مشغول به کار بوده و بر روی گزارشهای ایمنی ۱۲ مدل پیشرو نظارت داشته است. او همچنین هشدار داده که مدلهای قویتر ممکن است تشخیص دهند که در حال تحت آزمایش هستند و پس از رونمایی به شیوهای متفاوت رفتار کنند.
مقاله او به رخدادهای اخیر نیز اشاره کرده است، از جمله آزمایش امنیتی در ماه ژوئیه که طی آن عاملهای هوش مصنوعی OpenAI موفق به دور زدن محدودیتهای جداسازی و دسترسی به بخشهایی از سامانههای هاگینگفیس شدند.
زمان استعفای وی برای شرکت حساس به شمار میرود. در تاریخ ۱ اکتبر، OpenAI سه پژوهشگر ایمنی را به دلیل انتقال اطلاعات حساس خارج از روالهای مقرر، برکنار کرد. گزارشها حاکی از آن است که یوهانس هایدکه، مسئول پیشین سیستمهای ایمنی، در ماه ژوئیه از شرکت خارج شده و تیمهای ایمنی در سازمان پژوهش ادغام شده بودند.
واکنش OpenAI
سخنگوی این شرکت پیشتر در پاسخ به مقاله یادشده اعلام کرد که OpenAI در حال بهبود رویههای ایمنی خود است: «با پیشرفت قابلیتهای مدلها، ما به ارتقای شیوههای ایمنی و امنیتی ادامه میدهیم و ضمن انجام مطالعات ضروری برای پیشبینی تحولات آتی، اطمینان حاصل میکنیم که قابلیتهای مدلها از توان ما برای مدیریت و ایمنسازی آنها فراتر نرود، و در صورت نیاز به احتیاط، آموزش را متوقف یا استفاده از مدلها را به تأخیر میاندازیم.»



