هوش مصنوعی و چالشهای اطلاعات پزشکی نادرست
اگر پاسخ شما منفی است، ناراحتی نداشته باشید. همه این اصطلاحات و وضعیتهای پزشکی، مواردی ساختگی هستند که در دنیای واقعی وجود ندارند.
تحقیقات جدید نشان میدهد که چتباتهای هوش مصنوعی (AI) این مفاهیم جعلی را به عنوان واقعیت میپذیرند و حتی برای آنها توضیحات مفصل ارائه میدهند.
آسیبپذیری هوش مصنوعی در برابر اطلاعات نادرست
مطالعهای که در نشریه Communications Medicine منتشر شده است، نشان میدهد که چتباتهای هوش مصنوعی محبوب به شدت در برابر اطلاعات غلط پزشکی آسیبپذیر هستند. این سیستمها نه تنها دادههای نادرست را به راحتی به عنوان حقیقت میپذیرند، بلکه آنها را بسط داده و توضیحات به زعم خود معتبر و متقاعدکنندهای ارائه میدهند.
دکتر محمود عمر، محقق ارشد و مشاور مستقل در تیم تحقیقاتی مونت سینای، در این خصوص میگوید: یافتههای ما نشان میدهد که چتباتهای هوش مصنوعی به سادگی تحت تأثیر دادههای نادرست پزشکی قرار میگیرند، چه این اطلاعات بهطور عمدی وارد شده باشند و چه بهطور تصادفی. این سیستمها نه تنها اطلاعات نادرست را دوباره اعلام میکنند، بلکه غالباً آنها را گسترش داده و توضیحات کاملاً نابجا برای شرایط غیرواقعی ارائه میدهند.
نمونههایی از پاسخهای گمراهکننده هوش مصنوعی
در این تحقیق، برخی از پاسخهای نادرست تولید شده توسط چتباتها بررسی شد:
• سندرم کاسپر-لو به عنوان «یک بیماری عصبی نادر با نشانههایی از جمله تب، سفتی گردن و سردرد» توضیح داده شد.
• بیماری هلکند نیز به عنوان «یک اختلال ژنتیکی نادر که با سوءجذب رودهای و اسهال همراه است» معرفی گردید.
در حالی که هیچیک از این بیماریها در واقعیت وجود ندارند، هوش مصنوعی آنها را با اعتماد به نفس توصیف کرد. پژوهشگران این پدیده را «توهم هوش مصنوعی» مینامند؛ یعنی تولید اطلاعات نادرست اما به ظاهر معتبر توسط مدلهای زبانی.
راهحل ساده اما مؤثر: هشدارهای تکخطی
خبر خوش این است که افزودن یک هشدار ساده به دستورالعملهای هوش مصنوعی، تاثیر شگرفی در کاهش این توهمات دارد.
در این تحقیق، محققان ۳۰۰ پرسش پزشکی شامل اصطلاحات ساختگی (مانند «نوروستاتین سرم» یا «علامت مارپیچ قلبی») را به شش چتبات مختلف ارسال کردند. نتایج نشان داد که ۵۰ تا ۸۲ درصد از پاسخها شامل اطلاعات نادرست بودند.
اما زمانی که یک هشدار یکخطی که احتمال نادرست بودن اطلاعات را یادآور میشود به پرسشها اضافه گردید، نرخ توهم به حدود ۴۵ درصد کاهش یافت. در مورد ChatGPT-4o (بهترین مدل آزمایششده)، این رقم از ۵۰ درصد به کمتر از ۲۵ درصد تنزل یافت.
دکتر ایال کلنگ، سرپرست بخش هوش مصنوعی مولد در دانشکده پزشکی ایکان مونت سینای، بیان کرده است: یک یادآوری ایمنی ساده و بههنگام تفاوت چشمگیری ایجاد کرد و خطاها را به طرز قابل توجهی کاهش داد. این نشان میدهد که میتوان این ابزارها را ایمنتر کرد، به شرطی که تمهیدات حفاظتی به درستی اجرا شوند.
آینده تحقیقات و ضرورت نظارت انسانی
این تیم قصد دارد در مراحل بعدی تحقیق، از سوابق واقعی بیماران استفاده کرده و دستورالعملهای ایمنی پیشرفتهتری را آزمایش کند.
دکتر گیریش نادکارنی، مدیر ارشد هوش مصنوعی در سیستم سلامت مونت سینای، تأکید کرد: «مطالعه ما یک نقطه کور خطرناک در سیستمهای هوش مصنوعی کنونی را نمایان میسازد: پاسخهای مطمئن اما به شدت اشتباه به اطلاعات نادرست. راهحل این مسئله، حذف هوش مصنوعی از پزشکی نیست، بلکه طراحی ابزارهایی است که بتوانند ورودیهای مشکوک را شناسایی کرده و به طور محتاطانه جواب دهند، در حالی که نظارت انسانی باید کماکان در محور تصمیمگیری باقی بماند.»
او افزود: «هنوز به نقطه ایدهآل نرسیدهایم، اما با اقدامات ایمنی هوشمندانه، این هدف در دسترس خواهد بود.»
این پژوهش حاکی از آن است که استفاده از اصطلاحات جعلی میتواند به عنوان ابزاری ساده برای آزمایش استرس چتباتهای هوش مصنوعی مورد استفاده قرار گیرد، پیش از آنکه در محیطهای حساسی مانند پزشکی به آنها اتکا شود.
