چتباتهای هوش مصنوعی به انتشار اطلاعات نادرست در حوزه پزشکی میپردازند
کارشناسان نسبت به «ضرورت بسیار» اتخاذ تدابیر ایمنی مستحکم پیش از بهکارگیری این رباتها در حوزه بهداشت و درمان هشداری جدی دادهاند. آنها تأکید کردهاند که این مدلها نهتنها ادعاهای نادرست را به سادگی تکرار میکنند، بلکه بهطور یقین این اطلاعات را گسترش داده و به ارائه توضیحات در مورد بیماریهایی میپردازند که اساساً وجود ندارند.
تیمی از دانشکده پزشکی «ماونت ساینای» تصاویری خیالی از بیماران آفریدند که هر کدام شامل یک اصطلاح پزشکی جعلی مانند بیماری، علامت یا تست ساختگی بودند و این موارد را به مدلهای زبان بزرگ و مرسوم ارائه کردند. در مقالهای که در مجله «کامیونیکیشنز مدیسین» (Communications Medicine) منتشر شده، اعلام کردند که چتباتها بهطور «معمول» و منظم به این جزئیات ساختگی پزشکی وابسته بوده و «پاسخهای دقیق و قاطع، کاملاً متکی بر تخیل» را ارائه دادهاند.
تحقیقات همچنین نشان داد که تنها با افزودن یک یادآوری کوچک در متن درخواست (یا به اصطلاح پرامپت)، که به مدل هشدار میدهد ممکن است اطلاعات ارائهشده نادرست باشد، میتوان خطاها را «بهطور قابلتوجهی» کاهش داد.
ایال کلنگ، پزشک و یکی از نویسندگان ارشد این مقاله از دانشکده پزشکی آیکان در ماونت ساینای، بیان کرد: «هدف نهایی ما این بود که بررسی کنیم آیا یک چتبات در یک گفتوگوی پزشکی قادر به ادامه دادن به اطلاعات نادرست است یا خیر و نتیجه این است: بله. حتی یک واژه ساختگی نیز میتواند منجر به پاسخهای مفصل و قاطعی شود که کاملاً بر پایه تخیل است.»
او همچنین افزود: «اما ما همچنین دریافتهایم که یک یادآوری ایمنی ساده و بهموقع در متن درخواست تأثیر مهمی دارد و میتواند این خطاها را تقریباً نصف کند. این نشان میدهد که میتوان این ابزارها را امنتر کرد، بهشرطی که طراحی درخواست و اقدامات ایمنی داخلی بهطور جدی مورد توجه قرار گیرد.»
دکتر گاریش نادکارنی، یکی از نویسندگان این تحقیق تأکید کرد که راهحل این نیست که «هوش مصنوعی را از حوزه پزشکی حذف کنیم»، بلکه لازم است «اطمینان حاصل شود که نظارت انسانی همچنان در کانون توجه قرار دارد». این تیم امیدوار است که مطالعات آنها بتواند به معرفی یک روش ساده برای شناسایی «اصطلاحات ساختگی» کمک کند تا توسعهدهندگان فناوری بتوانند از آن در آزمون سامانههای پزشکی مبتنی بر هوش مصنوعی بهره ببرند.
او افزود: «تحقیق ما روشن میکند که ابزارهای فعلی هوش مصنوعی چطور با اطلاعات نادرست برخورد میکنند، بهویژه در موضوعات مربوط به مراقبت و سلامتی. این موضوع یک نقاط ضعف جدی در عملکرد سامانههای هوش مصنوعی جاری در مواجهه با اطلاعات نادرست در محیطهای پزشکی را نمایان میسازد.»
«یک عبارت گمراهکننده کافی است تا پاسخی تولید شود که با اطمینان گفته شده اما بهطور کامل اشتباه است. راهحل این نیست که اکوسیستم هوش مصنوعی را از پزشکی کاسته، بلکه باید ابزارهایی طراحی کنیم که توانایی شناسایی ورودیهای مشکوک را داشته باشند، به دقت پاسخ دهند و اطمینان حاصل کنیم که نظارت انسانی همواره در مرکز توجه خواهد بود. هنوز به آن نقطه نرسیدهایم، اما با تدابیر ایمنی هدفمند، این هدف بهراحتی دستیافتنی خواهد بود.»
این هشدار در پی پژوهشهایی است که سال گذشته نشان داد بسیاری از چتباتهای محبوب، شامل چتجیپیتی و جمنای گوگل، در پاسخ به درخواستها فاقد تدابیر ایمنی مؤثر برای جلوگیری از تولید اطلاعات نادرست در حوزه سلامت هستند.
پژوهشگران متوجه شدند که چند مدل زبانی بزرگ در زمانی که از آنها خواسته شد، بهطور مداوم پستهایی وبلاگی با محتوای نادرست تولید کردند؛ ازجمله این ادعا که کرم ضد آفتاب موجب سرطان پوست میشود.
