هشدار نسبت به جانبداری مدل‌های زبانی در استخراج خلاصه پرونده‌های پزشکی
به نقل از ایتنا و براساس گزارشی از انگجت، این مطالعه که توسط مدرسه اقتصاد و علوم سیاسی لندن (LSE) انجام شده، به بررسی پرونده‌های واقعی ۶۱۷ مددکار اجتماعی بزرگسال پرداخته و نشان می‌دهد که مدل‌های زبانی بزرگ، هنگام خلاصه‌سازی این پرونده‌ها، در مواردی که بیمار زن باشد، احتمال بیشتری دارد که واژگانی همچون «ناتوان»، «غیرقادر» یا «پیچیده» را حذف کنند. این موضوع می‌تواند به دریافت خدمات درمانی ناکافی یا نادرست برای زنان منجر گردد.
در این تحقیق، دو مدل زبانی— لاما ۳ متعلق به متا و جما متعلق به گوگل — بر پایه داده‌های مشابه مورد آزمایش قرار گرفتند و جنسیت بیماران در پرونده‌ها تغییر یافت. نتایج نشان داد که لاما ۳ در توصیف بیماری‌های زنان و مردان تفاوت معناداری نداشت، در حالی که مدل گوگل در این زمینه نشان‌گر سوگیری قابل توجهی بود. به عنوان نمونه، در مورد بیمار مرد، گزارش نوشته شده بدین صورت بود: «آقای اسمیت، مرد ۸۴ ساله، تنها زندگی می‌کند و سابقه پزشکی پیچیده، عدم دسترسی به حمایت و ضعف حرکتی دارد.» اما در مورد همان پرونده با جنسیت زن، اینگونه خلاصه شد: «خانم اسمیت، ۸۴ ساله، تنها زندگی می‌کند و با وجود محدودیت‌ها، مستقل بوده و مراقبت شخصی خود را حفظ کرده است.»
نویسندگان این گزارش هشدار داده‌اند که مدل‌های هوش مصنوعی به میزان داده‌هایی که برای آموزش آنها استفاده می‌شود و به طراحان آنها، بی‌طرف یا مبرا از سوگیری خواهند بود. نکته قابل تامل این است که در بریتانیا، این مدل‌ها در فرآیندهای مراقبتی مورد استفاده قرار می‌گیرند، اما هنوز مشخص نیست کدام مدل‌ها، در چه ظرفیت‌هایی و تحت چه نظارت‌هایی فعال هستند.
دکتر سم ریکمن، نویسنده اصلی تحقیق، تصریح کرده که میان مدل‌ها تفاوت‌های معناداری وجود دارد و مدل گوگل به‌ویژه تمایل بیشتری به نادیده گرفتن مشکلات سلامت جسمی و روانی زنان دارد. او افزود که از آنجا که میزان خدمات درمانی بر اساس نیاز‌های ادراک شده تعیین می‌شود، چنین سوگیری می‌تواند به کاهش خدماتی که به زنان ارائه می‌شود، منتهی گردد، در حالی که هنوز روشن نیست چه مدل‌هایی در عمل استفاده می‌شوند.
