Mellum 2 معرفی شد؛ مدل متنباز مهندسی نرمافزار
هوش مصنوعیخلاصهٔ کاملتر
گزارش فنی Mellum 2 منتشر شد؛ یه مدل زبانی open-weight با معماری Mixture-of-Experts که ۱۲ میلیارد پارامتر داره ولی برای هر توکن فقط ۲.۵ میلیاردش فعال میشه. این مدل جانشین Mellum قبلیه — مدل ۴ میلیاردی متراکم جتبرینز که فقط روی تکمیل کد تمرکز داشت — و حالا به یه مدل عمومی مهندسی نرمافزار تبدیل شده: تولید و ویرایش کد، دیباگ، استدلال چندمرحلهای، استفاده از ابزار و function calling، کدنویسی ایجنتی و چت برنامهنویسی.
معماری با وسواس روی بهینگی اجرا طراحی شده: ۶۴ اکسپرت که ۸ تاش فعاله، Grouped-Query Attention با ۴ هد KV، و Sliding Window Attention روی سه لایه از هر چهار لایه. یه هد Multi-Token Prediction هم داره که هم موقع پیشآموزش هدف کمکیه و هم موقع اجرا نقش draft model رو برای speculative decoding بازی میکنه. به گفته تیم، تکتک این انتخابها با ablation تأیید شدن و قید اصلی طراحی، اجرای بهینه روی GPUهای معمولی بوده.
پیشآموزش روی حدود ۱۰.۶ تریلیون توکن انجام شده؛ یه برنامه سهمرحلهای که ترکیب داده رو بهتدریج از وب متنوع به سمت کد و محتوای ریاضی باکیفیت میبره. بهینهسازی با Muon زیر دقت ترکیبی FP8 انجام شده و پنجره کانتکست هم بعداً با YaRN انتخابی در سطح لایه به ۱۲۸ هزار توکن رسیده.
بعد از پیشآموزش، دو مرحله post-training (اول SFT و بعد RLVR) دو نسخه نهایی ساخته: مدل Instruct که مستقیم جواب میده و مدل Thinking که قبل از جواب نهایی، زنجیره استدلالش رو صریح مینویسه. طبق گزارش، Mellum 2 توی بنچمارکهای تولید کد، ریاضی و استدلال، استفاده از ابزار، دانش و ایمنی با مدلهای open-weight رده ۴ تا ۱۴ میلیاردی رقابت میکنه؛ اون هم با هزینه محاسباتی هر توکن در حد یه مدل متراکم ۲.۵ میلیاردی.
هر سه چکپوینت base، instruct و thinking با مجوز Apache 2.0 منتشر شدن و خود گزارش هم جزئیات تصمیمهای معماری، پایپلاین داده و دستور پخت آموزش رو باز کرده — خبر خوبی برای تیمهایی که میخوان مدل کدنویس رو روی سختافزار معمولی خودشون اجرا کنن.
نکات کلیدی:
- مدل MoE با ۱۲ میلیارد پارامتر و فقط ۲.۵ میلیارد فعال در هر توکن
- جانشین Mellum 4B و پوشش کل کارهای مهندسی نرمافزار، از دیباگ تا کدنویسی ایجنتی
- کانتکست ۱۲۸K و دو نسخه Instruct و Thinking
- رقابتی با مدلهای ۴ تا ۱۴ میلیاردی با هزینه اجرای خیلی کمتر
- انتشار کامل چکپوینتها با مجوز Apache 2.0
