توهم هوش مصنوعی: چرا مدلهای هوشمند گاهی با اعتمادبهنفس کامل، دروغ میگویند؟
در دنیای علمی، به این پدیده «توهم» (Hallucination) میگویند. اما چرا مدلی که میلیاردها داده را در اختیار دارد، دچار چنین خطاهای فاحشی میشود؟
توهم هوش مصنوعی: چرا مدلهای هوشمند گاهی با اعتمادبهنفس کامل، دروغ میگویند؟
شاید برای شما هم پیش آمده باشد که از هوش مصنوعی درباره یک شخصیت تاریخی یا یک فرمول ریاضی سوال کنید و با پاسخی مواجه شوید که نه تنها غلط است، بلکه با چنان اطمینانی بیان شده که شما را به شک کردن در دانش خودتان وا میدارد. در دنیای علمی، به این پدیده «توهم» (Hallucination) میگویند. اما چرا مدلی که میلیاردها داده را در اختیار دارد، دچار چنین خطاهای فاحشی میشود؟
۱. هوش مصنوعی «فهم» ندارد، بلکه «پیشبینی» میکند
مهمترین نکتهای که باید درک کنیم این است که مدلهای زبانی (LLMs) مانند ChatGPT، در واقع «دانشمند» نیستند، بلکه «ماشینهای پیشبینی کلمه بعدی» هستند.
وقتی شما سوالی میپرسید، هوش مصنوعی بر اساس احتمالات ریاضی محاسبه میکند که بعد از کلمه اول، محتملترین کلمه دوم و سوم چیست. او واقعاً نمیداند «تاریخچه ایران» چیست، بلکه میداند در متون موجود، کلمات مربوط به تاریخ ایران معمولاً با هم میآیند. اگر در دادههای آموزشی، شکافی وجود داشته باشد، مدل سعی میکند با چسباندن کلماتِ به ظاهر درست به هم، یک جمله ساختاریافته بسازد؛ حتی اگر آن جمله از نظر واقعیت کاملاً بیمعنا باشد.
۲. مشکل دادههای آموزشی (Garbage In, Garbage Out)
یک قاعده طلایی در علوم کامپیوتر وجود دارد: «زباله وارد، زباله خارج». هوش مصنوعی از آنچه در اینترنت و کتابها وجود دارد یاد میگیرد.
اطلاعات غلط در اینترنت: اگر در منابع آنلاین، اطلاعات غلط یا شایعات درباره یک موضوع وجود داشته باشد، هوش مصنوعی آن را به عنوان یک حقیقت آماری میپذیرد.
تضاد اطلاعات: وقتی منابع مختلف با هم در تضاد باشند، مدل در انتخاب بین آنها دچار سردرگمی شده و ممکن است ترکیبی از اطلاعات درست و غلط را ارائه دهد.
۳. تلاش برای راضی کردن کاربر (Over-optimization)
مدلهای هوش مصنوعی به گونهای آموزش دیدهاند که تا حد ممکن «مفید» و «کمککننده» باشند. این ویژگی که یک نقطه قوت است، میتواند به یک نقطه ضعف تبدیل شود.
در بسیاری از موارد، مدل به جای اینکه بگوید «نمیدانم»، سعی میکند حدس بزند تا کاربر را ناامید نکند. این میل به ارائه پاسخ (حتی در نبود اطلاعات کافی)، عامل اصلی تولید پاسخهای ساختاریافته اما نادرست است.
۴. نبودِ مدل ذهنی از واقعیت (Lack of Grounding)
انسانها وقتی چیزی را یاد میگیرند، آن را با تجربه حسی (دیدن، لمس کردن، تجربه کردن) در ذهن خود ثبت میکنند. اما هوش مصنوعی فقط با «نمادها» و «کلمات» کار میکند. او مفهوم «سیب» را از طریق رابطه کلمه «سیب» با کلمات دیگر میفهمد، نه از طریق طعم یا شکل آن. این عدم اتصال به واقعیت فیزیکی (Lack of Grounding) باعث میشود که او درک درستی از منطقِ جهان فیزیکی نداشته باشد و دچار خطاهای فاحش شود.
چگونه از این خطاها جلوگیری کنیم؟
برای کاربران، بهترین راهکار استفاده از روش “Verify, then Trust” (تایید کنید، سپس اعتماد کنید) است. هوش مصنوعی یک دستیار قدرتمند برای ایدهپردازی و پیشنویس است، اما برای فکتهای تاریخی، پزشکی و حقوقی، همیشه باید از منابع معتبر تأییدیه گرفت.
تدوین و گردآوری: آکادمی برنامهنویسی بدیعی
ادامه بدهید