دیستیلیشن مدل واقعاً یعنی چی؟
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
تو این مقاله اومده که دیستیلیشن یعنی آموزش یه مدل کوچیکتر (دانشآموز) که رفتار یه مدل بزرگتر (معلم) رو بازتولید کنه؛ ولی نکتهٔ اصلی اینه که دانشآموز روی کل توزیع احتمال معلم آموزش میبینه، نه فقط جواب نهاییش. این ایده از مقالهٔ ۲۰۱۵ جفری هینتون، اوریول وینیالز و جف دین میاد. وقتی مدل یه عدد دستنویس «۲» رو میبینه، فقط نمیگه «۲»؛ یه احتمال کوچیک هم به «۷» میده چون شکلشون شبیهه. هینتون به همین احتمالهای ریز میگه دانش تاریک، و با یه پارامتر دما توزیع رو پهن میکنه تا این سیگنال قابل یادگیری بشه.
مدلهای زبانی هم سر هر توکن دارن یه مسئلهٔ دستهبندی روی کل واژگان حل میکنن، پس همین روش مستقیم بهشون میخوره. مشکل عملی اینجاست که بازتولید اون توزیع به لاجیتها — نمرات خام قبل از softmax — نیاز داره و APIهای تجاری معمولاً فقط خروجی انتخابشده رو برمیگردونن. برای همین دیستیلیشن واقعی از روی این APIها عملاً شدنی نیست. داخل خود آزمایشگاهها ولی کار روتینیه و چون فشردهکردن یه مدل چندتریلیونپارامتری تو یک قدم جواب نمیده، چند مرحلهای انجام میشه؛ نمونهٔ عمومیش دیستیلشدن R1 دیپسیک به چند مدل کوچیکتره.
روش دوم، دیستیلیشن سطح دنباله (مقالهٔ ۲۰۱۶ کیم و راش)، کلاً از سد لاجیت رد میشه: حجم زیادی از خروجیهای متنی معلم رو جمع میکنی و مدلت رو روشون فاینتیون میکنی، که عملاً همون فاینتیون نظارتشدهست. پروژههای اولیهای مثل Alpaca و Vicuna دقیقاً همین کارو با خروجیهای API اوپنایآی کردن. نویسنده تأکید میکنه این روش سبک و الگوهای سطحی رو منتقل میکنه، نه توانایی استدلال — و معمولاً نقض شرایط استفادهٔ API هم هست. آنتروپیک تو فوریه گزارش داده الگوهای پرسوجوی خودکار در همین مقیاس رو شناسایی کرده.
روش سوم، دیستیلیشن آنپالیسی، جهت کار رو برعکس میکنه: دانشآموز خودش جواب میسازه و معلم با لاگاحتمالهاش تکتک توکنها رو نمره میده، شبیه یه مدل پاداش. تحقیقات نشون داده این روش میتونه به نتایج یادگیری تقویتی برسه با حدود ده برابر محاسبات کمتر، ولی بازم به لاگاحتمال معلم وابستهست. به گفتهٔ نویسنده، قاطیشدن همین سه روش زیر یه کلمهست که بحثهای این روزها دربارهٔ «دیستیلشدن» مدلهای اوپنوِیت رو بیدقت میکنه؛ قویترین شاهد مخالف هم زمانبندیه، چون دادهٔ آموزشی یه مدل معمولاً ماهها قبل از عرضهٔ عمومی رقیب قفل میشه.
نکات کلیدی:
- دیستیلیشن واقعی روی توزیع احتمال معلم (سافت لیبل) آموزش میبینه، نه جواب نهایی
- ایدهٔ سافت لیبل و پارامتر دما از مقالهٔ ۲۰۱۵ هینتون میاد
- بدون دسترسی به لاجیت یا لاگاحتمال، دیستیلیشن واقعی شدنی نیست
- دیستیلیشن سطح دنباله فقط سبک رو منتقل میکنه و نقض شرایط استفادهٔ API هست
- دیستیلیشن آنپالیسی با حدود ده برابر محاسبات کمتر به نتایج یادگیری تقویتی میرسه
