اخطار رئیس مایکروسافت: ضرورت وجود «پ brake اضطراری» برای هوش مصنوعی

ساتیا نادلا، مدیر عامل مایکروسافت، در جدیدترین اظهار نظرهایش در زمینه ایمنی هوش مصنوعی، خواستار بازنگری در شیوه‌های طراحی و نظارت بر مدل‌های پیشرفته شده است. او بر این باور است که با رشد توانایی‌های این سیستم‌ها در اتخاذ تصمیمات و انجام وظایف به‌طور مستقل، دیگر نمی‌توان به سادگی به نتایج حاصل از آنها اعتماد کرد و نیاز است که برایشان سازوکارهای نظارتی و کنترلی مؤثرتری تنظیم شود.

نادلا روز شنبه در پیامی در شبکه اجتماعی ایکس (X) اعلام کرد که وقت آن فرارسیده است تا صنعت فناوری یک قدم به عقب بردارد و مفهوم «معماری اعتماد» را در هوش مصنوعی دوباره مورد بررسی قرار دهد.

او در این پیام به اهمیت شفافیت بیشتر در کارکرد مدل‌های پیشرفته اشاره کرده و تأکید کرد که نمی‌توان این گونه سیستم‌ها را به‌صرف یک مجموعه از «جعبه‌های سیاه تو در تو» نگریست و تنها با پذیرش یا رد توصیه‌ها، پاسخ‌ها و اقداماتی که ارائه می‌دهند، قناعت کرد.

این اظهارات نادلا نشان‌دهنده نگرانی او از سیستم‌هایی است که روند تصمیم‌گیری درونی آنها برای کاربران و حتی توسعه‌دهندگان به‌طور کامل قابل مشاهده نیست.

 

جداسازی مدل هوش مصنوعی از سیستم‌های کنترلی

پیشنهاد مهم دیگری که مدیرعامل مایکروسافت مطرح کرده است، جداسازی مدل‌های هوش مصنوعی از سیستمی است که مسئول هماهنگی و مدیریت فعالیت‌های آن می‌باشد. نادلا بر این باور است که کنترل‌ها و تدابیر احتیاطی نباید صرفاً به خود مدل متکی باشند، بلکه باید به‌صورت مستقل و جداگانه طراحی گردند.

این رویکرد با هدف ایجاد قابلیت‌های نظارتی و مداخله در عملکرد مدل‌های هوش مصنوعی مطرح شده است؛ به‌طوری که حتی اگر رفتار یک سیستم هوش مصنوعی از مسیر مطلوب خارج شود، سازوکارهای کنترلی به‌راحتی بتوانند بر فعالیت آن نظارت داشته باشند.

او همچنین بر لزوم ثبت و مستندسازی اقدامات کلیدی مدل‌های هوش مصنوعی تأکید نموده است.

به گفته نادلا، هر اقدام معنادار از یک مدل باید همراه با شواهدی باشد که قابل خواندن برای انسان بوده و در مقابل هرگونه دستکاری مقاوم باشند.

این پیشنهاد با هدف افزایش قابلیت بررسی عملکرد سیستم‌های هوش مصنوعی ارائه گشته است تا بتوان اقدامات آنها را ارزیابی کرد و در صورت بروز مشکل، اطلاعات قابل اعتمادی درباره فعالیت‌های انجام شده در دست داشت.

 

 

ترمز اضطراری برای وقفه در هوش مصنوعی حین فعالیت

بخش مهم دیگری از پیشنهادات نادلا به قابلیت متوقف کردن فعالیت‌های مدل‌های هوش مصنوعی مربوط می‌شود.

او تأکید کرده است که این سیستم‌ها باید به‌نحوی طراحی شوند که یک فرد مجاز بتواند فعالیت مدل را حتی در حین انجام وظیفه، متوقف کرده یا آن را به‌طور کامل غیر فعال کند.

مدیرعامل مایکروسافت این قابلیت را به «ترمز اضطراری» تشبیه کرده و گفته است که توسعه‌دهندگان باید از همان آغاز، احتمال به خطر افتادن یک مدل را مدنظر داشته باشند.

نادلا در توضیح این رویکرد نوشت: «باید فرض کنیم که یک مدل در معرض خطر قرار دارد و از همان ابتدا باید تدابیر مهاری را برای آن اندیشید. آن را به‌عنوان یک ترمز اضطراری در نظر بگیرید.»

بر اساس این دیدگاه، ایمنی هوش مصنوعی نباید تنها به توانایی مدل در پیروی از دستورالعمل‌ها وابسته باشد، بلکه باید امکان مداخله و توقف فعالیت آن نیز در ساختار سیستم پیش‌بینی شود.

 

افزایش نگرانی‌ها درباره کنترل مدل‌های پیشرفته

اظهارات مدیرعامل مایکروسافت در شرایطی بیان می‌شود که شرکت‌های پیشرو در حوزه هوش مصنوعی با پرسش‌های فزاینده‌ای در زمینه کنترل‌پذیری مدل‌های پیشرفته مواجه هستند.

به نقل از Techcrunch، برخی از این شرکت‌ها به وقوع حوادثی اذعان کرده‌اند که در آنها رفتار مدل‌های هوش مصنوعی از کنترل مورد انتظار خارج شده یا دشواری‌هایی در مهار عملکرد آنها مشاهده شده است. در همین راستا، داریو آمودی، مدیرعامل شرکت آنتروپیک (Anthropic)، نیز پیشنهادی برای توسعه محتاطانه‌تر هوش مصنوعی منتشر کرده است.

پیشنهادات نادلا بر این مبنا استوار است که افزایش توانایی‌های مدل‌های هوش مصنوعی باید با تقویت سازوکارهای نظارتی، ثبت اقدامات و حفظ اختیار انسان برای مداخله هم‌راستا باشد.

در نهایت، پیام مدیرعامل مایکروسافت این است که اعتماد به هوش مصنوعی پیشرفته نباید به معنای واگذاری کامل کنترل به این سیستم‌ها باشد. از دیدگاه او، حتی قوی‌ترین مدل‌ها نیز باید در چارچوبی عمل کنند که امکان بررسی رفتار و توقف فوری آنها در صورت لزوم وجود داشته باشد.