۴ علامت خطرناک برای «زوال شناختی» چتباتها
این پدیده میتواند بر توانایی این مدلها در زمینه استدلال چند مرحلهای، حفظ زمینه مکالمات و رفتار اخلاقی تأثیر منفی بگذارد.
به نقل از ایتنا از ZDNET ، گروهی از پژوهشگران از دانشگاههای معتبر، با بررسی رفتار مدلها در شرایط مختلف، چهار نشانگر کلیدی را شناسایی کردهاند که میتواند نشانهای از بروز «زوال شناختی» در یک چتبات باشد:
۴ نشانگر هشدار:
– قابلیت توضیحدهی ناکافی: ناتوانی مدل در تشریح مراحل تفکر یا استدلالی که منجر به تولید یک پاسخ شده است.
– اعتماد بیحد و قطعیت کاذب: ارائه پاسخهای قاطع و روشن حتی در شرایطی که اطلاعات نادرست یا غیر معتبر باشد.
– فراموشی زمینه مکالمه: از دست دادن پیوستگی در پاسخها و ناتوانی در حفظ اطلاعات طولانیمدت مکالمه.
– نیاز مکرر به اعتبارسنجی: تمایل به تولید اطلاعاتی که باید صرفاً تحت شرایط بررسی منابع معتبر مورد قبول قرار گیرد.
پژوهشگران تأکید میکنند که ریشه این مسائل معمولاً به «کیفیت دادههای آموزشی» برمیگردد؛ مدلهایی که با دادههای پر از محتوای کوتاه، تکراری یا غیرکامل آموزش دیدهاند، در آزمونهای استدلال و حفظ زمینه نمایان ضعف بیشتری دارند. آنها عبارت “بهداشت شناختی” را برای اشاره به نگرانیهای مربوط به کیفیت دادهها و پایداری عملکرد مدلها پیشنهاد میدهند.
برای کاهش خطرات ناشی از «brain rot»، پژوهشگران چندین توصیه عملی ارائه کردهاند، از جمله بهبود فرآیند انتخاب و پالایش دادههای آموزشی، اضافه کردن مراحل اعتبارسنجی انسانی در چرخه آموزش، و استفاده از آزمونهای ارزیابی مداوم که توانایی تعقیب استدلال چند مرحلهای و حافظه مکالمهای مدل را مورد سنجش قرار میدهند.
علاوه بر این، در مرحله تولید و استقرار، توسعهدهندگان میبایست ابزارهایی برای گزارش اشکالات و رفتارهای غیرمعمول فراهم کنند و از نسخهبندی مدل و ذخیرهسازی دقیق دادههای آموزشی بهرهبرداری نمایند؛ تا در صورت بروز افت عملکرد، امکان بازیابی و اصلاح وجود داشته باشد.
در نهایت، محققان معتقدند که «brain rot» یک مشکل بالقوه اما قابلپیشگیری است؛ به شرطی که سازندگان و جامعه پژوهشی توجه ویژهای به کیفیت داده، رویههای اعتبارسنجی و ابزارهای نظارتی داشته باشند.
