Inkling، اولین مدل تینکینگ مشینز منتشر شد
خلاصهٔ کاملتر
تینکینگ مشینز اولین مدلی که از صفر آموزش داده رو با وزنهای کامل منتشر کرد. Inkling یه ترنسفورمر Mixture-of-Experts ـه با ۹۷۵ میلیارد پارامتر کل و ۴۱ میلیارد فعال، پنجرهٔ متنی تا یک میلیون توکن، و پیشآموزش روی ۴۵ تریلیون توکن از متن، تصویر، صوت و ویدیو. کنارش پیشنمایش Inkling-Small هم معرفی شده؛ نسخهٔ ۲۷۶ میلیاردی با ۱۲ میلیارد پارامتر فعال.
تیم سازنده صادقانه میگه Inkling قویترین مدل امروز — چه باز چه بسته — نیست و عمداً هم دنبالش نبوده. هدف، یه مدل پایهٔ پهن و متعادل بوده که بشه روش فاینتیون کرد: بهجای بهینهسازی روی یه دامنه، روی کار ایجنتی، استدلال، کدنویسی، پیروی از دستور، واقعگرایی، بینایی و صوت با هم آموزش دیده.
یکی از ویژگیهای شاخصش «تلاش فکری قابلتنظیم» ـه: میتونی تعادل بین دقت و مصرف توکن رو خودت جابهجا کنی. به گفتهٔ شرکت، Inkling روی Terminal Bench برای رسیدن به همون کیفیت Nemotron 3 Ultra یکسوم توکن مصرف میکنه. این قابلیت تو خود آموزش تقویتی ساخته شده؛ با تغییر پیام سیستمی و هزینهٔ هر توکن، مدل یاد گرفته اندازهٔ فکرکردنش رو کنترل کنه.
چندوجهیبودن هم از پایه طراحی شده، نه چسبیده. معماری برای صوت و تصویر انکودر جدا نداره: صوت بهشکل طیفنگاشت dMel وارد میشه و تصویر به تکههای ۴۰ در ۴۰ پیکسل شکسته میشه و هر دو کنار توکنهای متنی پردازش میشن. نتیجهاش تو بنچمارکهای صوتی مثل VoiceBench و MMAU بین مدلهای وزنباز جزو قویترینهاست، هرچند هنوز از Gemini 3.1 Pro عقبتره.
بخشی که کمتر جای دیگه دیده میشه، چیزیه که تیم بهش میگه «معرفتشناسی» مدل: کالیبراسیون، پیروی از دستور و مقاومت در برابر سانسور. برای کاهش توهم دو داور خودکار گذاشتن — یکی جواب رو با چکلیست میسنجه و دومی تکتک ادعاها رو با جستوجوی وب راستیآزمایی میکنه. روی ایمنی هم به گزارش شرکت، Inkling تو بنچمارک FORTRESS بهترین سازوکار ایمنی داخلی بین مدلهای وزنباز مقایسهشده رو داره و امتیازش تو StrongREJECT بالای ۹۸ درصده.
از نظر ساخت، طراحی MoE تا حد زیادی از DeepSeek-V3 پیروی میکنه با ۲۵۶ متخصص مسیریابیشده و ۲ متخصص مشترک. دو انتخاب غیرمعمول داره: بهجای RoPE از نمایش موقعیت نسبی استفاده شده که به گفتهٔ تیم روی دنبالهٔ بلند بهتر تعمیم میده، و کانولوشن کوتاه هم تو دو نقطه از هر لایه اضافه شده. آموزش هم ترکیبی بوده — Muon برای ماتریسهای بزرگ و Adam برای بقیه — و آموزش تقویتی به بیش از ۳۰ میلیون رولاوت رسیده.
Inkling از همین حالا روی Tinker برای فاینتیون در دسترسه با گزینههای زمینهٔ ۶۴ و ۲۵۶ هزار توکن و یه تخفیف موقت ۵۰ درصدی، وزنهاش هم روی Hugging Face هست. برای اجرا هم با TogetherAI، Fireworks، Modal، Databricks و Baseten و پروژههایی مثل SGLang، vLLM و llama.cpp همکاری شده.
نکات کلیدی:
- MoE با ۹۷۵ میلیارد پارامتر کل، ۴۱ میلیارد فعال و زمینهٔ تا یک میلیون توکن
- پیشآموزش روی ۴۵ تریلیون توکن متن، تصویر، صوت و ویدیو
- تلاش فکری قابلتنظیم برای معاوضهٔ دقت با هزینه و تأخیر
- تمرکز روی کالیبراسیون و کاهش توهم بهجای رکورد بنچمارک
- وزنهای کامل روی Hugging Face و فاینتیون روی Tinker




