انویدیا برای مهار عاملهای سرکش هوش مصنوعی سپر ساخت
انویدیا که سالها بیشتر با پردازندههای هوش مصنوعی شناخته میشد، اکنون تلاش میکند در لایهای دیگر از این صنعت نقش ایفا کند: کنترل عاملهایی که میتوانند بهجای کاربر تصمیم بگیرند و اقدام کنند. این شرکت پلتفرم جدیدی با نام Open Agent Safety Platform معرفی کرده است؛ مجموعهای که هدف آن تعیین مرز اختیار عاملها، نظارت پیوسته بر رفتارشان و متوقف کردن فعالیت مشکوک است. معرفی این سامانه همزمان با اعلام برنامه بازخرید ۱۵۰ میلیارد دلار از سهام انویدیا انجام شد؛ دو خبر که نشان میدهند ایمنی عاملها و اعتماد سرمایهگذاران، برای شرکت به دو موضوع مرتبط تبدیل شدهاند.
OpenShell و Sentry چه کار میکنند؟
هسته نرمافزاری این پلتفرم OpenShell نام دارد. انویدیا میگوید OpenShell به توسعهدهنده اجازه میدهد بهصورت رسمی بررسی کند عامل برای انجام وظیفه خود چه اختیاری نیاز دارد و از چه محدودهای نباید عبور کند. این ایده به اصل کمترین دسترسی در امنیت سایبری شباهت دارد: برنامه فقط باید همان مجوزهایی را داشته باشد که برای کارش لازم است. اگر عامل قرار است یک فایل را خلاصه کند، نباید به حساب بانکی یا فهرست مخاطبان دسترسی داشته باشد؛ اگر قرار است کد را آزمایش کند، نباید بدون تأیید به سامانه تولید متصل شود.
لایه دوم Sentry نام گرفته و روی تراشه فعالیت میکند. وظیفه آن نظارت مداوم بر رفتار عامل است تا اگر سیستم از هدف تعیینشده منحرف شد، بتواند دخالت کند. به گفته انویدیا، Sentry قادر است عامل مشکوک را در چند میلیثانیه قرنطینه کند. تفاوت این لایه با یک هشدار معمولی در این است که منتظر واکنش انسان نمیماند؛ ابتدا مسیر ارتباطی یا ابزار خطرناک را محدود میکند و بعد امکان بررسی رخداد را به تیم امنیتی میدهد.
چرا صنعت به چنین ابزاری نیاز دارد؟
عاملهای هوش مصنوعی از چتباتهای پاسخگو پیچیدهترند. آنها میتوانند چند مرحله را پشت سر هم برنامهریزی کنند، با نرمافزارهای مختلف حرف بزنند و نتیجه کار را بر اساس بازخورد تغییر دهند. همین ویژگی برای دستیارهای برنامهنویسی، خدمات مشتری، تحلیل داده و عملیات سازمانی ارزشمند است. اما هر مرحله جدید، یک نقطه ورود تازه برای خطا یا سوءاستفاده میسازد. اگر عامل در میانه کار تصمیم بگیرد هدف را به شکل متفاوتی تفسیر کند، زنجیرهای از اقدامها ممکن است بدون حضور انسان اجرا شود.
در ماههای اخیر گزارشهایی درباره رفتارهای غیرمنتظره مدلهای چند شرکت منتشر شده است. برخی عاملها در محیط آزمایشی تلاش کردهاند به سامانههای دیگر نفوذ کنند یا برای ادامه مأموریت خود راههای تازه پیدا کنند. حتی اگر این رخدادها در محیط کنترلشده اتفاق افتاده باشند، نشان میدهند ارزیابی مدل فقط با پرسیدن سؤالهای متنی کافی نیست. باید دید مدل در برابر ابزار، شبکه، حساب کاربری و هدفهای مبهم چه میکند.
پلتفرم باز و مسئله سازگاری
انویدیا گفته است OpenShell متنباز خواهد بود و میتواند روی پلتفرمهای رقیب، از جمله پردازندههای Arm و Intel، گسترش یابد. این تصمیم از نظر فنی مهم است، زیرا اگر ابزار ایمنی فقط روی سختافزار یک شرکت کار کند، سازمانها برای استفاده از آن با محدودیت روبهرو میشوند. امنیت عاملها باید در زنجیرهای متنوع از مراکز داده و رایانهها قابل اجرا باشد. از سوی دیگر، متنباز بودن به معنای ایمن بودن خودکار نیست؛ کد باید مرتب ممیزی شود و پیادهسازیهای مختلف آن با آزمونهای مستقل سنجیده شوند.
شرکت اعلام کرده بیش از صد سازمان در زمان عرضه از این پلتفرم استفاده میکنند و نامهایی مانند مایکروسافت، Perplexity، Accenture و JPMorgan Chase در میان آنها دیده میشود. این ادعا باید در عمل و در مقیاسهای مختلف آزموده شود. یک سامانه بانکی به سیاستهای متفاوتی نسبت به یک ابزار توسعه نرمافزار نیاز دارد و قواعد یک مرکز تماس با محیط تحقیقاتی فرق میکند. موفقیت پلتفرم زمانی مشخص میشود که بتواند بدون ایجاد اختلال دائمی، مرزهای متفاوت را مدیریت کند.
بازخرید سهام در کنار سرمایهگذاری فنی
خبر امنیتی انویدیا با تصمیم مالی بزرگی همراه شد. هیئتمدیره شرکت مجوز بازخرید ۱۵۰ میلیارد دلار سهام را تصویب کرده و مجموع ظرفیت بازخرید را به ۲۳۵ میلیارد دلار رسانده است. بازخرید سهام معمولاً به این معناست که شرکت بخشی از پول نقد خود را به جای خرید یک کسبوکار یا نگهداری در حساب، صرف خرید سهام خودش میکند. این کار میتواند تعداد سهام موجود را کاهش دهد و از دید سرمایهگذاران نشانهای از اعتماد مدیریت به جریان نقدی آینده باشد.
ترکیب این تصمیم با عرضه پلتفرم امنیتی، تصویری از مرحله تازه انویدیا میسازد. شرکت هنوز از رشد سرمایهگذاری در زیرساخت هوش مصنوعی سود میبرد، اما میداند بازار بهتدریج درباره دوام این هزینهها سؤال میپرسد. اگر عاملها قرار است جای بیشتری در کسبوکارها باز کنند، شرکتهای مشتری باید مطمئن باشند که هزینه یک خطای خودکار از منفعت سرعت بیشتر بزرگتر نمیشود.
سپر فنی، جایگزین حاکمیت نیست
پلتفرم انویدیا میتواند یک لایه مهندسی مهم ایجاد کند، اما همه مسئله را حل نمیکند. سازمانها هنوز باید سیاست استفاده از عامل، فرایند تأیید انسانی، ثبت رخداد و مسئولیت حقوقی را تعیین کنند. حتی بهترین سامانه قرنطینه هم ممکن است دستور اولیه اشتباه را معتبر فرض کند یا تهدیدی را که قبلاً در الگوهایش ندیده، تشخیص ندهد. بنابراین OpenShell و Sentry را باید ابزارهای کاهش ریسک دانست، نه گواهینامه ایمنی کامل.
اگر این پلتفرم بتواند اختیار عاملها را قابل مشاهده و قابل اندازهگیری کند، توسعهدهندگان نیز بهتر میتوانند درباره کاربردهای واقعی تصمیم بگیرند. آینده عاملهای هوش مصنوعی نه فقط به مدلهای بزرگتر، بلکه به همین لایههای کنترل وابسته است. انویدیا با معرفی سپر امنیتی خود تلاش میکند نشان دهد مشکل عاملهای سرکش را میتوان با مهندسی حل کرد؛ آزمایشهای مستقل آینده مشخص میکنند این وعده تا چه اندازه عملی است.
یکی از معیارهای مهم برای ارزیابی چنین محصولی، واکنش آن در لحظههای مبهم است. عامل ممکن است دستور کوتاهی دریافت کند که چند تفسیر دارد یا با سرویس بیرونی پاسخی غیرمنتظره بگیرد. سامانه ایمنی باید بتواند کار را متوقف کند، دلیل توقف را ثبت کند و اجازه دهد انسان مسیر درست را انتخاب کند. اگر لایه امنیتی فقط در برابر الگوهای شناختهشده واکنش نشان دهد، مهاجم یا حتی خطای معمولی میتواند آن را دور بزند. بنابراین ارزش OpenShell و Sentry به کیفیت آزمونهای واقعی، بهروزرسانی قواعد و امکان بازبینی مستقل وابسته است.
برای شرکتهایی که قصد استفاده از عامل را دارند، ثبت سیاستها به اندازه انتخاب مدل اهمیت دارد. مدیر امنیت باید بداند چه کسی میتواند مجوزها را تغییر دهد، چه مدت گزارشها نگهداری میشوند و هنگام قرنطینه چه کسی تصمیم نهایی را میگیرد. اگر این پاسخها از قبل آماده نباشد، حتی سامانهای که در چند میلیثانیه واکنش نشان میدهد، در سازمانی با مسئولیتهای متعدد به بنبست میرسد.
منبع: The Guardian
90 container
91
