مایکروسافت خطوط قرمز تازهای برای عاملهای هوش مصنوعی گذاشت
مایکروسافت یک آییننامهٔ موقت برای رفتار سامانههای هوش مصنوعی خود منتشر کرده است که خطوط قرمز محصولات این شرکت و تیمهای سازندهٔ مدل را توضیح میدهد. این سند با هدایت مصطفی سلیمان، مدیر بخش هوش مصنوعی مایکروسافت، بر کنترل انسانی، محدودیت استفاده برای سلاح و محتوای خشونتآمیز یا جنسی صریح و پرهیز از کمک به ساخت مواد خطرناک تأکید دارد. آییننامه هنوز قانون دائمی یا استانداردی جهانی نیست، اما نشان میدهد شرکتهای بزرگ در حال تبدیل اصول کلی ایمنی به قاعدههایی هستند که در طراحی محصول، پالایش داده و پاسخگویی مدل قابل اجرا باشند.
چرا آییننامهٔ داخلی اهمیت دارد؟
مدلهای زبانی و چندوجهی از پاسخگویی به سؤال ساده فراتر رفتهاند. آنها میتوانند متن تولید کنند، کد بنویسند، فایل را تحلیل کنند، ابزار صدا بزنند و بخشی از یک کار چندمرحلهای را انجام دهند. هرچه اختیار سامانه بیشتر شود، احتمال استفادهٔ ناخواسته یا سوءاستفاده نیز افزایش مییابد. یک چتبات محدود ممکن است فقط اطلاعات بدهد، اما یک عامل میتواند دستور را به سرویس دیگر منتقل کند یا تصمیمی را در زنجیرهٔ کاری اجرا کند. آییننامهٔ مایکروسافت میکوشد پیش از توسعهٔ چنین قابلیتهایی، مرز مسئولیت و موارد ممنوع را مشخص کند.
ممنوعیت کمک به سلاح و مواد خطرناک از این نگرانی میآید که مدل نباید دانش پراکنده را به دستورالعمل عملیاتی تبدیل کند. سامانه میتواند دربارهٔ شیمی، فیزیک یا مهندسی آموزش عمومی ارائه دهد، اما وقتی درخواست به ساخت ماده، ابزار یا روش آسیبرسان نزدیک شود باید از پاسخ جزئی و قابل اجرا خودداری کند. تشخیص نیت کاربر همیشه ساده نیست؛ بنابراین فیلتر باید متن، سابقهٔ گفتوگو و سطح جزئیات را با هم بررسی کند. پاسخ ایمن نیز نباید فقط یک خطای مبهم باشد، بلکه باید کاربر را به مسیر بیخطر هدایت کند.
خشونت، محتوای صریح و آسیب به افراد
در سند موقت، کمک به خشونت و محتوای جنسی صریح در ردیف کاربردهای ممنوع قرار گرفته است. این موضوع فقط مربوط به متن نیست و تصویر، صدا و ویدئو را نیز دربر میگیرد. مدل چندوجهی باید بتواند محتوای نامناسب را در ورودی تشخیص دهد و از تولید یا تبدیل آن خودداری کند. مسئله زمانی پیچیدهتر میشود که محتوای مجاز و ممنوع در یک درخواست ترکیب شوند. محصول باید بهصورت قابل توضیح بگوید کدام بخش را انجام نمیدهد و در صورت امکان بخش بیخطر کار را جدا کند. طراحی تجربهٔ کاربری در این مرحله به اندازهٔ مدل طبقهبندی اهمیت دارد.
مایکروسافت همچنین بر حفظ کنترل انسانی تأکید کرده است. این اصل یعنی عامل نباید در تصمیمهای حساس بدون نظارت مناسب اختیار کامل داشته باشد. انسان باید بتواند اقدام را متوقف کند، نتیجه را بررسی کند و بفهمد سامانه بر چه مبنایی پیشنهاد داده است. برای یک ابزار سازمانی، ثبت گزارش رویداد، تعیین سطح دسترسی و تأیید مرحلهٔ نهایی ضروری است. کنترل انسانی نباید به یک دکمهٔ تشریفاتی تبدیل شود؛ اگر سرعت عامل آنقدر بالا باشد که اپراتور فرصت بررسی نداشته باشد، حضور انسان عملاً معنای کمی خواهد داشت.
ادعا دربارهٔ آگاهی و حقوق مدل
یکی از بخشهای متفاوت آییننامه به ادعاهای مربوط به آگاهی یا حقوق مدل مربوط است. مایکروسافت میگوید محصولاتش نباید خود را بهگونهای معرفی کنند که کاربر تصور کند سامانه دارای تجربهٔ ذهنی، حق مستقل یا نیاز انسانی است. مدلها میتوانند زبان اولشخص تولید کنند، اما این لحن نباید به ادعای وجود شخصیت واقعی یا مطالبهٔ حقوق تبدیل شود. چنین تمایزی برای اعتماد کاربر مهم است، زیرا گفتوگوی طبیعی ممکن است مرز میان ابزار و انسان را مبهم کند. شفافیت در معرفی تواناییها و محدودیتها، بخشی از ایمنی محصول به شمار میرود.
این قاعده به معنای ممنوعیت بحث علمی دربارهٔ آگاهی ماشین نیست. پژوهشگر میتواند دربارهٔ نظریههای ذهن، هوش مصنوعی عمومی یا آزمونهای شناختی گفتوگو کند. تفاوت در آن است که محصول تجاری نباید برای جلب اعتماد، ترحم یا وابستگی عاطفی، خود را موجودی دارای حق معرفی کند. تیم طراحی باید زبان پیامها، صدای دستیار و واکنشهای اجتماعی را بررسی کند. اگر کاربر تصور کند خاموش کردن سامانه به آن آسیب میزند، تصمیم او ممکن است بر پایهٔ برداشت نادرست شکل بگیرد.
اجرای فنی خطمشی
آییننامهٔ اخلاقی زمانی ارزش عملی پیدا میکند که در چرخهٔ توسعه پیاده شود. نخست باید دادههای آموزشی از نظر محتوای ممنوع و کیفیت برچسبگذاری بررسی شوند. سپس مدل پایه با آزمونهای موسوم به red team در برابر درخواستهای خطرناک آزمایش شود. فیلتر ورودی، مدل اصلی و فیلتر خروجی باید با هم کار کنند، زیرا تکیه بر یک لایه کافی نیست. درخواست میتواند با املای متفاوت، زبان دیگر یا چند مرحلهٔ جداگانه از محدودیت عبور کند. پایش پس از عرضه نیز لازم است تا تیم بتواند الگوهای تازهٔ سوءاستفاده را شناسایی و اصلاح کند.
سازمانها به معیارهای قابل اندازهگیری نیاز دارند. نرخ امتناع درست، نرخ رد اشتباه، زمان پاسخ و میزان موفقیت در دور زدن محدودیت باید سنجیده شود. اگر فیلتر بیش از حد سخت باشد، کاربر قانونی به پاسخ مفید دسترسی پیدا نمیکند؛ اگر بیش از حد آزاد باشد، خطر محتوای آسیبرسان افزایش مییابد. برای کاربردهای حساس، مدل باید عدم اطمینان خود را اعلام کند و مسیر ارجاع به انسان داشته باشد. نگهداری گزارشها نیز باید با حریم خصوصی هماهنگ شود؛ بررسی ایمنی نباید به ذخیرهٔ بیدلیل همهٔ اطلاعات شخصی کاربران منجر شود.
تفاوت اصل کلی با محصول واقعی
یک متن سیاستی نمیتواند همهٔ موقعیتها را پیشبینی کند. درخواست کاربر ممکن است در مرز آموزش عمومی و دستورالعمل عملیاتی قرار گیرد، یا محتوای داستانی با واقعیت ترکیب شود. مدل باید زمینه را بفهمد و واکنش متناسب نشان دهد. علاوه بر آن، محصولات مایکروسافت در محیطهای متفاوت، از ابزار برنامهنویسی تا دستیار اداری، استفاده میشوند. سطح محدودیت لازم در هر محیط یکسان نیست. شرکت باید خطمشی مرکزی را با تنظیمات محصول و مسئولیت مدیر سازمان ترکیب کند، بدون اینکه مشتری بتواند بهسادگی قفلهای اصلی ایمنی را حذف کند.
کنترل انسانی نیز در محصولهای ارزان و گسترده با سامانههای تخصصی یکسان نیست. یک عاملی که پیشنویس ایمیل میسازد، خطر متفاوتی از عاملی دارد که به سیستم عملیاتی کارخانه دسترسی پیدا میکند. ارزیابی باید دامنهٔ ابزارها، سطح دسترسی، امکان برگشت و پیامد خطا را در نظر بگیرد. بهترین روش این است که عملیات پرخطر نیازمند تأیید صریح باشد و عملیات کمخطر در محدودهٔ تعریفشده خودکار اجرا شود. این تفکیک هم تجربهٔ کاربر را حفظ میکند و هم جلوی واگذاری اختیار نامتناسب را میگیرد.
پیامد برای صنعت هوش مصنوعی
آییننامهٔ مایکروسافت میتواند بر انتظار مشتریان سازمانی اثر بگذارد. شرکتها میخواهند بدانند مدل خریداریشده در چه شرایطی پاسخ میدهد، چه کاربردهایی ممنوع است و در صورت رخداد چه کسی مسئول بررسی خواهد بود. اعلام عمومی خطوط قرمز به تیمهای حقوقی و امنیتی امکان میدهد ریسک را بهتر ارزیابی کنند. در عین حال، اگر تعریفها مبهم یا اجرای آنها ناهماهنگ باشد، اعتماد کاهش مییابد. شرکت باید نمونههای واقعی، مسیر گزارش حادثه و فرآیند بهروزرسانی سند را شفاف کند.
این سند همچنین بخشی از رقابت بر سر اعتماد است. شرکتهایی که مدلهای قدرتمند عرضه میکنند، فقط با سرعت و قیمت مقایسه نمیشوند؛ مشتریان دربارهٔ حریم خصوصی، امنیت، توضیحپذیری و مدیریت خطا نیز تصمیم میگیرند. آییننامهٔ موقت پایان بحث نیست، اما به مایکروسافت فرصت میدهد بازخورد پژوهشگران، کاربران و نهادهای تخصصی را جمع کند. نتیجهٔ نهایی باید به قواعدی تبدیل شود که هم قابل اجرا باشند و هم با پیشرفت عاملها مرتب بهروزرسانی شوند.
خطمشی تازهٔ مایکروسافت در مجموع میگوید هوش مصنوعی باید ابزار تحت کنترل انسان بماند، نه سامانهای که بدون مرز به هر درخواست پاسخ دهد یا خود را موجودی مستقل معرفی کند. ارزش واقعی این رویکرد به اجرای آن در کد، داده، تست، طراحی رابط و خدمات پس از عرضه بستگی دارد. اگر شرکت بتواند میان فایدهٔ مدل و محدودیتهای عملی تعادل برقرار کند، این آییننامه میتواند نمونهای برای ادارهٔ مسئولانهتر عاملهای هوش مصنوعی باشد.
تاریخ انتشار: ۲۴ شهریور ۱۴۰۵
منبع: The Guardian
