سوگیری در هوش مصنوعی چیست و چگونه به سیستم‌ها نفوذ می‌کند؟
اما این نکته مهم است که هرگونه تفاوت در خروجی‌های یک مدل لزوماً به معنای تبعیض نیست. در برخی موارد، تفاوت‌ها می‌تواند ناشی از اختلافات حقیقی در داده‌ها باشد؛ یا یک معیار آماری ممکن است برای یک کاربرد خاص مناسب باشد، اما برای کاربرد دیگری نباشد. از این رو، شناسایی سوگیری به یک تحلیل دقیق از داده‌ها، اهداف سیستم، روش‌های ارزیابی و عواقب واقعی تصمیمات نیازمند است.
یکی از تصورات نادرست درباره مدل‌های هوش مصنوعی این است که از آنجا که این مدل‌ها مبتنی بر فرمول‌های ریاضی هستند، نتایج آنها به طور کامل عینی و بدون偏ه است. هرچند ریاضیات می‌تواند فرآیند تصمیم‌گیری را منظم‌تر کند، اما هیچ تضمینی وجود ندارد که مسأله‌ای که برای مدل تعریف شده یا داده‌هایی که به آن ارائه داده شده، خود از لحاظ بی‌طرفی عاری باشد.
چگونه سوگیری به سیستم‌های هوش مصنوعی وارد می‌شود؟
سوگیری می‌تواند در هر بخشی از چرخه حیات یک سیستم هوش مصنوعی شکل بگیرد؛ از انتخاب مسأله و جمع‌آوری داده‌ها تا آموزش مدل، ارزیابی و حتی نحوه استفاده انسان‌ها از خروجی‌ها.
۱. سوگیری در داده‌های آموزشی
مدل‌های یادگیری ماشین بر اساس الگوهای موجود در داده‌ها یاد می‌گیرند. اگر داده‌ها نمایندگی مناسبی از جامعه یا شرایط واقعی نداشته باشند، عملکرد مدل در بین گروه‌های مختلف ممکن است غیرعادلانه باشد.
به عنوان مثال، اگر یک سیستم تشخیص تصویر با مجموعه‌ای آموزشی درگیر شود که نمایندگی ناقصی از برخی گروه‌های جمعیتی داشته باشد، ممکن است در تشخیص اعضای این گروه‌ها ضعیف عمل کند.
این مشکل صرفاً به کمبود داده‌ها مرتبط نیست. عوامل دیگری همچون کیفیت پایین داده‌ها، برچسب‌گذاری نادرست، قدیمی بودن اطلاعات و حتی شیوه‌هایی که متغیرها تعریف شده‌اند نیز می‌توانند بر نتایج تأثیر بگذارند.
۲. سوگیری در انتخاب نمونه
مسأله ممکن است از اینجا نشأت بگیرد که چه کسانی به مجموعه داده‌ها افزوده شده‌اند. اگر یک نظرسنجی آنلاین تنها نظرات افرادی را جمع‌آوری کند که به اینترنت دسترسی بهتری دارند، نتایج به دست آمده نمی‌تواند به عنوان نماینده‌ای برای کل جامعه قلمداد شود. در سیستم‌های هوش مصنوعی، داده‌هایی که برخی گروه‌ها را کمتر یا بیشتر از آنچه که در واقع هستند نشان می‌دهند، می‌توانند تصویری ناقص از جامعه ارائه دهند.
۳. سوگیری در طراحی هدف
حتی اگر داده‌ها به درستی انتخاب شده باشند، انتخاب هدف مناسب برای بهینه‌سازی مدل می‌تواند بر نتایج اثرگذار باشد.
برای مثال، اگر شرکتی بخواهد سیستمی را برای گزینش نیروی کار ایجاد کند و از مدل بخواهد افرادی را پیدا کند که «مشابه کارکنان موفق پیشین» هستند، در صورتی که ساختار نیروی کار در گذشته متعادل نبوده باشد، این معیار ممکن است منجر به بازتولید این نابرابری‌ها شود.
در این حالت، مشکل ممکن است در یک خط کد خاص نباشد؛ بلکه ممکن است ریشه در تعریف نامناسب «موفقیت» و تبدیل آن به معیاری محاسباتی داشته باشد.
زمانی که گذشته به الگوریتم وارد می‌شود
یکی از موارد معروف سوگیری در استخدام، مربوط به سامانه آزمایشی آمازون است. طبق گزارشی از رویترز در سال ۲۰۱۸، این شرکت ابزاری را برای ارزیابی رزومه‌ها طراحی کرده بود که با تکیه بر داده‌های متقاضیان در سال‌های گذشته، نامزدها را رتبه‌بندی می‌کرد. در طول آزمایش، مشخص شد که سامانه با رزومه‌هایی که نشانه‌های زنانه را از متقاضی نشان می‌دهند، به طور نامناسبی رفتار می‌کند؛ موضوعی که به الگوهای موجود در داده‌های تاریخی نسبت داده شد و در نهایت آمازون این پروژه را متوقف کرد.
این مثال نکته‌ای حیاتی را روشن می‌کند: مدلی که از داده‌های گذشته برای پیش‌بینی آینده استفاده می‌کند، ممکن است فقط الگوهای موفقیت را شناسایی نکند، بلکه به نوعی بازتولید برخی نابرابری‌های تاریخی نیز بپردازد.
سوگیری در حوزه بانک‌ها و اعتبارسنجی
حوزه مالی یکی دیگر از زمینه‌هایی است که تصمیم‌گیری‌های الگوریتمی می‌تواند تأثیرات جدی بر جای بگذارد. سیستم‌های اعتبارسنجی ممکن است از داده‌های متعدد برای ارزیابی احتمال بازپرداخت وام استفاده کنند. اما اگر متغیرهای انتخاب‌شده یا داده‌های گذشته با شرایط اجتماعی و اقتصادی خاص ترکیب شوند، می‌توانند تفاوت‌های نامعقول بین گروه‌های مختلف ایجاد کنند.
به همین دلیل، تنها بررسی «دقت کلی» مدل کافی نیست. باید به این موضوع توجه داشت که این دقت برای چه گروه‌هایی محقق شده و نرخ خطا برای هر گروه چگونه است.
زمانی که الگوریتم به نظام قضایی وارد می‌شود
بحث‌برانگیزترین نمونه‌های سوگیری الگوریتمی، ابزارهای ارزیابی احتمال تکرار جرم هستند. در سال ۲۰۱۶، یک پژوهش از سوی ProPublica ابزار COMPAS در فلوریدا را مورد بررسی قرار داده و در آن تفاوت‌های معناداری بین نوع خطاهای سامانه در میان متهمان سیاه‌پوست و سفیدپوست گزارش کرد. به عنوان نمونه، در داده‌های مورد بررسی، متهمان سیاه‌پوستی که بعداً مرتکب جرم مجدد نشده بودند، تقریباً دو برابر بیشتر از متهمان سفیدپوست مشابه در گروه پرخطر طبقه‌بندی شده بودند.
در مقابل، متهمان سفیدپوستی که در ادامه مرتکب جرم مجدد شدند، بیشتر از متهمان سیاه‌پوست به عنوان گروه کم‌خطر طبقه‌بندی شده بودند.
این مورد نشان می‌دهد که موضوع «عدالت الگوریتمی» بسیار پیچیده‌تر از آن چیزی است که به نظر می‌رسد. یک سیستم ممکن است از نظر یک معیار آماری عملکرد مشابهی برای دو گروه ارائه دهد، اما از منظر معیار دیگر تفاوت‌های قابل توجهی به همراه داشته باشد. بنابراین، تنها توصیف یک الگوریتم به عنوان «دقیق» برای ارزیابی عدالت آن کافی نیست.
آیا سوگیری فقط مربوط به الگوریتم‌های قدیمی است؟
با ظهور مدل‌های زبانی بزرگ و هوش مصنوعی مولد، مقوله سوگیری به جنبه‌های جدیدی راه یافته است. این مدل‌ها از حجم انبوهی از متون و داده‌های انسانی یاد می‌گیرند و ممکن است انحرافات موجود در این داده‌ها را به تصویر بکشند.
گزارش شاخص هوش مصنوعی دانشگاه استنفورد در سال ۲۰۲۵ به پژوهش‌هایی اشاره دارد که نشان می‌دهند حتی مدل‌هایی که با هدف کاهش سوگیری طراحی شده‌اند، ممکن است در برخی موارد همچنان الگوهای سوگیرانه ضمنی را نشان دهند؛ از جمله ارتباطات کلیشه‌ای میان جنسیت، شغل و گروه‌های اجتماعی.
این موضوع بدان معنا نیست که هر پاسخی که یک مدل زبانی تولید می‌کند، به شکل خودکار سوگیرانه است؛ بلکه نشان می‌دهد که نیاز به ارزیابی و آزمایش مداوم این سیستم‌ها وجود دارد.
چگونه می‌توان سوگیری هوش مصنوعی را کاهش داد؟
هیچ راه‌حل جادویی و واحدی برای به طور کامل از بین بردن سوگیری وجود ندارد، اما تدابیری وجود دارد که می‌تواند خطر آن را کاهش دهد.
کیفیت داده‌ها را پیش از آموزش بررسی کنید
اولین قدم، ارزیابی کیفیت، نمایندگی و ساختار داده‌ها به شمار می‌رود. توسعه‌دهندگان باید به منبع داده‌ها، گروه‌های نمایندگی موجود، گروه‌های کمتر دیده شده و خطاهای احتمالی در برچسب‌گذاری توجه کافی داشته باشند.
عملکرد مدل را برای گروه‌های مختلف ارزیابی کنید
میانگین دقت مدل ممکن است تصویر دقیقی ارائه نکند. بر حسب کاربرد، باید متریک‌هایی از جمله نرخ مثبت کاذب، منفی کاذب و سایر معیارهای عملکرد برای گروه‌های مختلف نیز مورد بررسی قرار گیرد.
نقش انسان را در فرآیند کنار نگذارید
در تصمیمات حساسی که می‌گیرند، اتکا به خروجی الگوریتم به عنوان حقیقت نهایی می‌تواند خطرناک باشد. در بسیاری از موارد حساسی که به هوش مصنوعی وابسته هستند، خروجی مدل باید تنها یکی از ورودی‌های تصمیم‌گیری انسانی باشد، نه جایگزین کامل قضاوت انسان.
البته، «نظارت انسانی» به تنهایی کفایت نمی‌کند. اگر تصمیم‌گیرنده بدون ارزیابی، هر خروجی الگوریتم را تأیید کند، در عمل این تجربه انسانی نخواهد بود که در رفع مشکل کمک کند.
مدل را پس از عرضه به طور مداوم ارزیابی نمایید
سوگیری
در فرآیند تصمیم‌گیری‌های حساس، نباید به خروجی الگوریتم به عنوان حقیقت نهایی تکیه کرد. در بسیاری از موارد با ریسک‌های بالا، خروجی هوش مصنوعی باید به‌عنوان یکی از مدخل‌های تصمیم‌گیری انسانی در نظر گرفته شود و نه به عنوان جایگزینی برای قضاوت انسانی.
صرفاً در زمان ساخت مدل اهمیت ندارد. داده‌ها در محیط واقعی به‌طور پیوسته تغییر می‌کنند، رفتار کاربران ممکن است به گونه‌ای دگرگون شود و شرایط ممکن است پیش آید که در هنگام آموزش مدل وجود نداشته است. چارچوب مدیریت ریسک هوش مصنوعی NIST نیز بر ارزیابی، پایش و مستندسازی دائمی تأکید دارد و توصیه می‌کند که پس از نصب، عملکرد و ریسک‌های سیستم به‌طور مستمر پیگیری شوند.
سوگیری همیشه عمدی نیست
یکی از نکات کلیدی درباره سوگیری هوش مصنوعی این است که برای به وجود آمدن نتیجه‌ای تبعیض‌آمیز، نیازی به برنامه‌نویسی متعصب یا الگوریتمی با «نیت» تبعیض نیست.
NIST سه نوع اصلی از سوگیری را شناسایی می‌کند: سوگیری سیستمی، سوگیری محاسباتی و آماری، و سوگیری شناختی انسانی. این اشکال سوگیری ممکن است بدون هیچ قصدی شکل بگیرند.
به سادگی می‌توان گفت که ممکن است هیچ‌کس تصمیم نگرفته باشد که یک گروه خاص را نادیده بگیرد؛ اما ترکیب داده‌های ناقص، هدف‌های نامناسب، طراحی ضعیف، محدودیت‌های فنی و شیوه استفاده از خروجی مدل می‌تواند در نهایت به چنین نتایج منجر شود.
آینده هوش مصنوعی؛ تعادل میان بی‌طرفی و مسئولیت‌پذیری
احتمالاً انتظار «بی‌طرفی مطلق» از هوش مصنوعی از ابتدا یک انتظارات نادرست بوده است. این تکنولوژی در خالی از محتوا اجتماعی ایجاد نمی‌شود و نمی‌تواند تمام پیش‌داوری‌های موجود را تنها با یک خط کد از بین ببرد. هدف واقعی‌تر این است که سیستم‌هایی ایجاد کنیم که سوگیری‌های ممکن خود را شناسایی، اندازه‌گیری و مستند کنند و تحت کنترل نگه‌دارند.
NIST هوش مصنوعی قابل اعتماد را به مثابه مجموعه‌ای از ویژگی‌ها تعریف می‌کند که علاوه‌بر انصاف و مدیریت سوگیری، شامل اعتبار، قابلیت اطمینان، امنیت، شفافیت، توضیح‌پذیری، حفظ حریم خصوصی و پاسخ‌گویی نیز می‌شود.
در نهایت، سؤال اصلی این نیست که «آیا هوش مصنوعی سوگیری دارد؟»؛ بلکه سؤالات مهم‌تر شامل این‌هاست که سوگیری از کجا ناشی می‌شود، چه کسانی تحت تأثیر قرار می‌گیرند، چگونه می‌توان آن را اندازه‌گیری کرد و چه راه‌هایی برای اصلاح آن وجود دارد؟
هوش مصنوعی می‌تواند فرآیند تصمیم‌گیری را سریع‌تر، ارزان‌تر و به‌طور قابل توجهی به دقیق‌تر کند؛ اما شاید همین سرعت و مقیاس بزرگ، خطاها را هم سریع‌تر و گسترده‌تر کند. هرچقدر که نقش الگوریتم‌ها در تصمیمات روزمره ما افزایش یابد، شناخت مکانیسم‌های سوگیری در آنها اهمیت بیشتری پیدا خواهد کرد.
مسئولیت‌پذیری در هوش مصنوعی از یک سوال ساده آغاز می‌شود: اگر یک انسان چنین تصمیمی می‌گرفت، از او می‌خواستیم توضیح دهد که چرا چنین انتخابی کرده است؛ پس چرا از یک الگوریتم باید انتظار کمتری داشته باشیم؟ / خبرآنلاین
