‏EMO: مدل هوش مصنوعی که ماژولار بودنش رو خودش یاد می‌گیره

مدل‌های زبانی بزرگ معمولاً به‌صورت یکپارچه آموزش می‌بینن و اجرا می‌شن؛ یعنی حتی اگه کاربر فقط به یه قابلیت خاص نیاز داشته باشه، باید کل مدل رو لود کنه. این مسئله با رسیدن مدل‌ها به تریلیون‌ها پارامتر، هزینه محاسباتی و حافظه‌ای سنگینی به‌بار میاره. معماری Mixture-of-Experts یا به‌اختصار MoE راه‌حل جالبیه: به‌جای یه شبکه عصبی بزرگ، چند شبکه کوچیک‌تر به‌نام «اکسپرت» داریم که برای هر توکن ورودی فقط تعداد کمی از اون‌ها فعال می‌شن. ولی مشکل اینه که در مدل‌های MoE معمولی، حتی برای یه وظیفه ساده هم توکن‌های مختلف اکسپرت‌های متفاوتی رو فعال می‌کنن و عملاً کل مدل درگیر می‌شه.

EMO که توسط آزمایشگاه Ai2 منتشر شده، این مشکل رو از ریشه حل می‌کنه. ایده اصلیش اینه که توکن‌های یه سند احتمالاً از یه دامنه هستن، پس در طول آموزش مجبور می‌شن اکسپرت‌هاشون رو از یه «استخر مشترک» انتخاب کنن. این استخر توسط خود روتر (شبکه‌ای که تصمیم می‌گیره کدوم اکسپرت فعال بشه) انتخاب می‌شه: میانگین ترجیحات اکسپرت در کل سند محاسبه می‌شه و پراستفاده‌ترین‌ها به‌عنوان استخر مشترک برگزیده می‌شن. به این شکل، گروه‌بندی طبیعی اکسپرت‌ها بدون هیچ برچسب دستی از دل داده بیرون میاد.

دو چالش فنی مهم در پیاده‌سازی EMO وجود داشته. اول load balancing (توازن بار): در آموزش معمولی MoE، یه objective وجود داره که مطمئن می‌شه همه اکسپرت‌ها به‌طور یکسان استفاده بشن. این با هدف EMO در تعارضه چون EMO می‌خواد توکن‌های یه سند همه از یه استخر کوچیک باشن. راه‌حل: اعمال load balancing در سطح کلی روی تعداد زیادی سند به‌جای سطح محلی. دوم اندازه استخر: به‌جای یه عدد ثابت، این مقدار در طول آموزش به‌صورت تصادفی نمونه‌برداری می‌شه تا مدل با زیرمجموعه‌های مختلفی از اکسپرت‌ها در زمان استنتاج کار کنه.

نتایج بنچمارک‌ها نشون می‌ده که EMO با نگه‌داشتن فقط ۲۵٪ از اکسپرت‌ها تنها حدود ۱٪ افت عملکرد داره و با ۱۲.۵٪ از اکسپرت‌ها افت حدود ۳٪ هست. این در حالی‌که مدل MoE معمولی با همین معماری، با کوچک شدن زیرمجموعه اکسپرت‌ها به شدت افت می‌کنه و گاهی به عملکرد تصادفی می‌رسه. انتخاب اکسپرت‌های مناسب برای یه وظیفه هم ارزون‌تر از چیزیه که فکرش رو می‌کردیم: حتی یه مثال چند-شاتی کافیه تا ماژول مناسب شناسایی بشه.

تحلیل خوشه‌بندی روترها نشون می‌ده که اکسپرت‌های EMO به دامنه‌های معناداری مثل بهداشت و سلامت، گزارش خبری، و سیاست تخصص پیدا کردن — نه صرفاً الگوهای دستوری سطح پایین مثل حروف اضافه و نشانه‌گذاری که در MoEهای معمولی رایجه.

نکات کلیدی:

• EMO یه مدل MoE با ۱۴B پارامتر کله که ماژولار بودنش از داده‌های پیش‌آموزش ظهور می‌کنه، نه از برچسب‌گذاری دستی
• با فقط ۱۲.۵٪ از اکسپرت‌ها می‌شه نزدیک به عملکرد مدل کامل رسید
• load balancing جهانی (نه محلی) کلید پایداری آموزش بوده
• اندازه استخر اکسپرت در طول آموزش تصادفی‌سازی می‌شه تا انعطاف‌پذیری زمان استنتاج حفظ بشه
• کد، مدل‌ها و ابزار ویژوالیزیشن همگی به‌صورت عمومی منتشر شدن