هوش مصنوعی که نمیدونه چی نمیدونه؛ مشکل اصلی هالوسینیشن
هوش مصنوعیخلاصهٔ کاملتر
یکی از بزرگترین چالشهای هوش مصنوعی مولد اینه که مدلهای زبانی بزرگ (LLMs) گاهی اطلاعات اشتباه رو با اطمینان کامل بیان میکنن — پدیدهای که بهش هالوسینیشن میگن. یه مقالهی تازه از محققان گوگل (Gal Yona, Mor Geva, Yossi Matias) که قراره در ICML 2026 ارائه بشه، نگاه متفاوتی به ریشهی این مشکل داره و یه راهحل جالب پیشنهاد میده.
نویسندگان میگن اکثر پیشرفتهایی که تا حالا در حوزهی «واقعیتپذیری» مدلها صورت گرفته، از مسیر گسترش دانش مدل بوده؛ یعنی سعی شده اطلاعات بیشتری به مدل یاد داده بشه. اما مشکل اصلی اینجاست: مدلها اغلب نمیدونن که چی نمیدونن! به عبارت دیگه، مرز بین «میدونم» و «نمیدونم» در ذهن مدل مبهمه.
یه نکتهی مهم که نویسندگان بهش اشاره میکنن اینه که این مشکل تا حدی ذاتی است. مدلها ممکنه اصلاً قدرت تفکیک کافی بین درست و غلط رو نداشته باشن، که این یه trade-off ایجاد میکنه: اگه بخوای هالوسینیشن رو به صفر برسونی، مجبوری خیلی از جوابهای درست رو هم حذف کنی و مدل بیفایدهتر بشه.
اما خبر خوب اینه که این trade-off با یه تغییر رویکرد میشه از بین برد. اگه هالوسینیشن رو اینطور تعریف کنیم: «اطلاعات اشتباهی که با اطمینان بیان میشه»، اونوقت دیگه فقط دو گزینه نداریم (یا جواب بده یا سکوت کن). یه راه سوم وجود داره: ابراز عدم اطمینان.
مفهوم پیشنهادی مقاله «faithful uncertainty» یا عدم اطمینان صادقانهست — یعنی وقتی مدل واقعاً مطمئن نیست، این عدم اطمینان رو صادقانه در کلاماش نشون بده. مثلاً به جای اینکه با قطعیت یه تاریخ اشتباه بگه، بگه «فکر میکنم این تاریخ درسته ولی مطمئن نیستم».
این ایده بخشی از یه چارچوب بزرگتره به اسم متاکاگنیشن (Metacognition) — یعنی توانایی آگاهی از دانش و محدودیتهای خود. در تعامل مستقیم با کاربر، متاکاگنیشن یعنی صادقانه عدم قطعیت رو اعلام کردن. اما در سیستمهای agentic (مدلهایی که خودمختار کار میکنن و تصمیم میگیرن)، این مفهوم خیلی مهمتر میشه: متاکاگنیشن اون لایهی کنترلیه که تعیین میکنه مدل کِی باید جستجو کنه، کِی به اطلاعات اعتماد کنه و کِی از تصمیمگیری خودداری کنه.
نویسندگان نتیجه میگیرن که بدون متاکاگنیشن، نمیشه هم قابل اعتماد بود هم مفید؛ و این دو ویژگی باید با هم در مدلهای آینده وجود داشته باشن. مقاله با اشاره به مسائل باز و چالشهای پیش رو در این حوزه به پایان میرسه.
نکات کلیدی:
- هالوسینیشن در LLMها بیشتر مشکل «آگاهی از مرز دانش» است، نه فقط کمبود اطلاعات
- حذف کامل هالوسینیشن با حفظ کاربردپذیری مدل یه trade-off ذاتی ایجاد میکنه
- راه سوم: به جای «جواب بده یا سکوت کن»، مدل عدم اطمینانش رو صادقانه بیان کنه
- مفهوم «faithful uncertainty» یعنی همسوکردن ابراز زبانی با عدم قطعیت واقعی درونی مدل
- متاکاگنیشن در سیستمهای agentic نقش یه لایهی کنترلی حیاتی رو بازی میکنه
- این مقاله در مسیر ICML 2026 (Position Track) پذیرفته شده
