‏قوانین مقیاس‌پذیری: از کاپلان تا چینچیلا

قوانین مقیاس‌پذیری (scaling laws) یکی از مهم‌ترین یافته‌های تجربی یادگیری عمیقن و شکل ساده‌ای دارن: خطای آموزش با بزرگ‌ترشدن اندازه‌ی مدل N، حجم داده D و محاسبات C به‌شکل یه قانون توانی کم می‌شه — همون خط صافی که روی نمودار log-log می‌بینیم. ارزش عملی‌اش هم همینه: چند اجرای کوچیک و ارزون رو برازش می‌کنی و از روش تخمین می‌زنی که مدل بزرگ چقدر توکن و چقدر محاسبه می‌خواد.

به گفته‌ی نویسنده این ایده قدیمی‌تر از چیزیه که فکر می‌کنیم: کارهای اولیه‌ی آماری و بعد Hestness و همکاران (۲۰۱۷) نشون داده بودن خطای تعمیم با داده به‌شکل توانی کم می‌شه، و جالب اینکه تغییر معماری فقط آفست منحنی رو جابه‌جا می‌کنه، نه شیب توانی‌اش. یعنی شیب بیشتر خاصیت خودِ مسئله‌ست تا مدل.

کاپلان و همکاران (۲۰۲۰) این مفهوم رو تو دنیای مدل‌های زبانی جا انداختن. نتیجه‌ی مشهورشون این بود که با ۱۰ برابر شدن محاسبات، اندازه‌ی مدل رو حدود ۵.۵ برابر ولی توکن‌های آموزش رو فقط حدود ۱.۸ برابر بزرگ کن — یعنی مدل باید سریع‌تر از داده رشد کنه. یه دستاورد جانبی مفیدشون هم تقریب C ≈ 6ND برای محاسبات آموزشه.

مقاله‌ی چینچیلا (۲۰۲۲) با طراحی آزمایش دقیق‌تر و بیش از ۴۰۰ مدل (از ۷۰ میلیون تا بیش از ۱۶ میلیارد پارامتر) این توصیه رو برعکس کرد: به‌ازای هر دو برابر شدن اندازه‌ی مدل، توکن‌ها هم باید دو برابر بشن (N_opt ∝ C^0.5). سه روش مستقلش — تثبیت اندازه‌ی مدل، پروفایل‌های IsoFLOP، و برازش پارامتریک — به یه جواب رسیدن و همین قانع‌کننده‌ش کرد. نمایش معروفش هم اینه: چینچیلای ۷۰ میلیاردی با ۱.۴ تریلیون توکن، Gopher ۲۸۰ میلیاردی رو (با همون بودجه‌ی محاسباتی) شکست داد.

پس چرا این دو تا این‌قدر اختلاف داشتن؟ نویسنده دو دلیل می‌آره: اول اینکه کاپلان بیشتر روی مدل‌های کوچیک آزمایش کرده بود و برون‌یابی تو فضای log-log خطای کوچیک رو خیلی بزرگ می‌کنه؛ دوم اینکه کاپلان پارامترهای embedding رو نمی‌شمرد و چینچیلا می‌شمرد — و تو مدل‌های کوچیک این پارامترها سهم قابل‌توجهی دارن. کار Pearce و Song (۲۰۲۴) نشون داده با اصلاح همین شمارش، ضریب کاپلان تو همون بازه‌ی کوچیک قابل بازتولیده.

بخش جذاب بعدی «چرا اصلاً قانون توانی؟»ه. یه فرضیه (شارما و کاپلان) می‌گه مدل داره روی یه منیفولد کم‌بعد رگرسیون می‌زنه و پارامتر بیشتر یعنی افرازِ ریزتر اون منیفولد. فرضیه‌ی دیگه (Michaud و همکاران) می‌گه دانش و مهارت‌ها «کوانتیزه» یاد گرفته می‌شن و چون فراوانی مهارت‌ها خودش توانیه، افت خطا هم توانی درمی‌آد.

حالت واقعی‌تر امروز کمبود داده‌ست. Muennighoff و همکاران (۲۰۲۳) با حدود ۴۰۰ آزمایش نشون دادن ارزش هر توکن با هر بار تکرار به‌شکل نمایی افت می‌کنه و بهتره به‌جای بزرگ‌کردن مدل، epoch بیشتر بدی. Lovelace و همکاران (۲۰۲۶) این رو یه قدم جلوتر بردن و یه جریمه‌ی صریح overfitting بر اساس نسبت ظرفیت N / U_D اضافه کردن — چون مشاهده کردن مدل‌های بزرگ‌تر به تکرار داده حساس‌ترن. جالب اینکه weight decay قوی این جریمه رو کم می‌کنه.

حرف پایانی نویسنده هشدارآمیزه: برازش این قوانین تو عمل به انتخاب‌های به‌ظاهر بی‌اهمیت حساسه — اینکه پارامترها رو چطور بشمری، دقت عددی رو چطور گرد کنی، لاس رو جمع بزنی یا میانگین بگیری. چون داری از مدل‌های کوچیک به مدل‌های چند مرتبه بزرگ‌تر برون‌یابی می‌کنی، چیزی که شبیه خطای گردکردنه می‌تونه پیش‌بینی رو کاملاً عوض کنه.

نکات کلیدی:

• قانون توانی: خطا با N، D و C به‌شکل توانی کم می‌شه؛ تقریب محاسبات C ≈ 6ND
• کاپلان: مدل رو سریع‌تر از داده بزرگ کن — چینچیلا: هر دو رو هم‌پا (N_opt ∝ C^0.5)
• چینچیلای ۷۰B با ۱.۴T توکن، Gopher 280B رو با همون بودجه‌ی محاسباتی شکست داد
• ریشه‌ی اختلاف: مقیاس کوچیک آزمایش‌های کاپلان و نشمردن پارامترهای embedding
• تو کمبود داده، ارزش توکن تکراری نمایی افت می‌کنه و مدل بزرگ‌تر به تکرار حساس‌تره
• برازش این قوانین شکننده‌ست و جزئیات به‌ظاهر بی‌اهمیت، پیش‌بینی رو زیرورو می‌کنن