‏مدل‌های زبانی هم به خواب نیاز دارن

این مقاله که تو arXiv منتشر شده و نویسنده‌هاش (Ali Behrouz، Farnoosh Hashemi و Vahab Mirrokni) از گوگل هستن، به یکی از ضعف‌های اصلی مدل‌های زبانی بزرگ می‌پردازه: این مدل‌ها تو پیش‌بینی لحظه‌ای و یادگیری درون‌زمینه‌ای (in-context learning) خوب عمل می‌کنن، ولی نمی‌تونن به‌طور مداوم یاد بگیرن و دانشی که موقت تو زمینهٔ مکالمه به‌دست میارن رو به پارامترهای بلندمدت خودشون منتقل کنن.

به گفتهٔ نویسنده‌ها، راه‌حل اینه که از فرایند یادگیری انسان الهام بگیریم. اونا یه پارادایم به اسم «خواب» (Sleep) معرفی می‌کنن که به مدل اجازه می‌ده حافظه‌های کوتاه‌مدت و شکننده‌ش رو با کمک بازپخش (replay) به دانش پایدار بلندمدت تبدیل کنه و به‌صورت بازگشتی خودش رو بهتر کنه.