‏چند بار داده‌ی باکیفیت رو تو آموزش مدل تکرار کنیم؟

این مقاله‌ی arXiv سراغ یه معضل عملی تو آموزش مدل‌های زبانی می‌ره: هرچی مدل بزرگ‌تر می‌شه، بودجه‌ی توکن آموزش هم باید بیشتر شه تا نسبت توکن به پارامتر (TPP) درست بمونه. مشکل اینجاست که داده‌ی باکیفیتِ یه حوزه‌ی خاص، برخلاف داده‌ی وب عمومی، به این راحتی زیاد نمی‌شه، برای همین سهمش تو ترکیب آموزش مدام آب می‌ره. راه‌حلی که نویسنده‌ها بررسی می‌کنن، تکرار همون داده‌ی محدوده. تکرار جلوی رقیق‌شدن داده‌ی باکیفیت رو می‌گیره، ولی زیاده‌روی توش مدل رو دچار اورفیت (یعنی وقتی مدل به‌جای یادگیری، داده رو حفظ می‌کنه) می‌کنه. برای همین سؤال اصلی اینه که نقطه‌ی تعادل کجاست، اونم تو شرایط واقعی که بودجه‌ی توکن هم‌زمان با اندازه‌ی مدل بزرگ می‌شه. اولین یافته‌ی جالبشون اینه که با ثابت‌بودن TPP، تعداد تکرار بهینه با بزرگ‌تر شدن مدل کمی بیشتر می‌شه، که برخلاف انتظاره. یافته‌ی دوم مهم‌تره: تعداد تکرار بهینه‌ی هر حوزه با خطای اعتبارسنجی نهایی اون حوزه رابطه‌ی منفی قوی داره، یعنی حوزه‌هایی که مدل روشون خطای کمتری داره، از تکرار بیشتر بیشتر سود می‌برن. در مقابل، حجم داده‌ی یکتای هر حوزه ربط چندانی به تعداد تکرار بهینه نداره. جمع‌بندی عملی‌ای که نویسنده‌ها ازش می‌گیرن اینه که می‌شه تعداد تکرار بهینه رو روی مدل‌های کوچیک‌ترِ نماینده با همون TPP تنظیم کرد و همون عدد رو برای مدل‌های بزرگ‌تر به‌کار برد. یعنی لازم نیست هر بار روی مدل غول‌آسا آزمون‌وخطا کنی. نکات کلیدی:

• با بزرگ‌تر شدن مدل، سهم داده‌ی باکیفیت هر حوزه تو ترکیب آموزش کم می‌شه و تکرار جلوی این افت رو می‌گیره
• با ثابت‌بودن نسبت TPP، تعداد تکرار بهینه با اندازه‌ی مدل کمی زیاد می‌شه
• تعداد تکرار بهینه‌ی هر حوزه با خطای اعتبارسنجی نهایی‌ش رابطه‌ی منفی قوی داره
• حجم داده‌ی یکتای حوزه تأثیر کمی روی تعداد تکرار بهینه داره
• تکرار بهینه رو می‌شه روی مدل کوچیک تنظیم و به مدل بزرگ تعمیم داد