مهمترین عدد Kimi K3 رو اشتباه گرفتیم
هوش مصنوعیخلاصهٔ کاملتر
مقالهٔ Sparse By Design با یه ادعای ساده شروع میشه: وقتی Moonshot چکپوینت Kimi K3 رو منتشر کنه، بزرگترین مدل اوپنویت تاریخ میشه — ۲.۸ تریلیون پارامتر، کانتکست یک میلیون توکنی و چندحالتگی بومی. ولی به نوشتهٔ نویسنده، بحث عمومی روی عدد اشتباهی قفل شده. عدد مهمتر ۱۶ است.
K3 بهازای هر توکن ۱۶ اکسپرت از ۸۹۶ رو فعال میکنه، یعنی زیر ۲ درصد وزنهای اکسپرت تو هر فوروارد پس لمس میشن. به گفتهٔ نویسنده این یه جزئیات پیادهسازی نیست، بلکه نقطهٔ پایانی (فعلاً) باثباتترین روند معماری تو مدلهای اوپنه: پارامتر کل از زمان Mixtral حدود ۲۰ برابر شده و فقط تو دوازده ماه گذشته ۳ برابر، ولی پارامتر فعال تقریباً تکون نخورده و ۲۷ ماه تو بازهٔ ۱۷ تا ۴۹ میلیارد مونده. Moonshot سه نسخهٔ K2، K2.5 و K2.6 رو با اسکلت یکسان (یک تریلیون کل، ۳۲ میلیارد فعال) عرضه کرد.
نویسنده تأکید میکنه این یه قانون نیست و پراکندگی هم داره — GLM-5.2 از V4-Pro کماسپارستره — ولی جهتش روشنه: محاسبهٔ هر توکن رو تقریباً ثابت نگه دار و ظرفیت کل رو بیرحمانه باد کن. منطق اقتصادیش هم اینه که با بودجهٔ آموزش ثابت، اکسپرت بیشتر یعنی loss کمتر، و صورتحساب این کار از جیب ذخیرهسازی در میاد که لایههای ارزون داره، نه از جیب محاسبات و پهنای باند حافظه که کم و جیرهبندیشدهن. به گفتهٔ اون وقتی FLOPs جیرهبندی میشه، طبیعیه که محورِ بیرون از کنترلهای صادراتی رو اسکیل کنی.
اما یه حلقهٔ باز میمونه: کانتکست بلندتر، کش KV رو بزرگ میکنه و این کش هم مثل وزنها سر هر توکن از حافظه کشیده میشه. به نوشتهٔ نویسنده روند همراه، یعنی فشردهسازی توجه، داره همین حلقه رو میبنده — ترکیب CSA/HCA در DeepSeek، Multi-head Latent Attention و معماری توجه تازهٔ K3 — تا جایی که کش KV مدل V4-Pro روی کانتکست یک میلیونی، فقط ۱۰ درصد نسل قبلیشه.
نتیجهٔ ترکیب این دو روند مهمه: اسپارسیتی بایتهای وزن و فشردهسازی توجه بایتهای کش رو که بهازای هر توکن جابهجا میشن کم میکنن، ولی هیچ چیزی روی نقشهٔ راه، بایتهای ذخیرهشده رو کم نمیکنه؛ اون عدد فقط بالا میره. به بیان نویسنده اسپارسیتی محاسبات اینفرنس فرانتیر رو دموکراتیزه کرد، ولی برای ظرفیت هیچ کاری نکرد: وزنهای K3 با MXFP4 حدود ۱.۴ ترابایته، یعنی ده و چند H200 فقط برای لود کردن، قبل از کش KV — و همین دلیله که Moonshot پیکربندی سوپرنود با ۶۴ شتابدهنده یا بیشتر توصیه میکنه.
مقاله بعد دو رژیم سرو کردن رو جدا میکنه. تو محیط کمبچ — مثل سازمانی که خودش مدل رو هوست میکنه — میشه حافظه رو لایهبندی کرد: اکسپرتهای پرکاربرد تو HBM و بقیه تو DRAM ارزون. ولی تو مقیاس هایپراسکیل این صرفه از بین میره: سرور پروداکشن صدها درخواست همزمان رو بچ میکنه و هر توکن ۱۶ اکسپرت خودش رو انتخاب میکنه، پس یه بچ کامل بیشتر اون ۸۹۶ اکسپرت رو روشن میکنه و اکسپرت سردی نمیمونه. اینجا اسپارسیتی HBM خریداریشده رو کم نمیکنه، فقط تقاضای پهنای باند رو به تقاضای ظرفیت HBM تبدیل میکنه.
نویسنده نتیجه میگیره روتینگ حرف اوله: روترهای امروزی توکنها رو تقریباً یکنواخت پخش میکنن و همین باعث میشه لایهبندی گرم و سرد تو مقیاس بالا شکست بخوره. اگه لابراتوارها روترها رو با محلیت عامدانه آموزش بدن — اکسپرتهای محبوب و مسیرهای قابل پیشبینی — لایهبندی واقعی حتی با بچ بزرگ هم شدنی میشه و برندهٔ اصلی هم اردوگاه ظرفیت ارزونه. نکتهٔ جانبی مهم هم اینه که «اوپن» و «ارزون» دیگه مساوی نیستن: مدل ۲.۸ تریلیونی کف هزینهٔ سرو کردن ساختاری بالاتری داره، هر کی که سروش کنه.
نکات کلیدی:
- K3 بهازای هر توکن ۱۶ اکسپرت از ۸۹۶ رو فعال میکنه؛ زیر ۲ درصد وزنهای اکسپرت
- پارامتر کل از Mixtral تا حالا ~۲۰ برابر شده ولی پارامتر فعال ۲۷ ماه بین ۱۷ تا ۴۹ میلیارد مونده
- منطق اقتصادی: با بودجهٔ آموزش ثابت، اکسپرت بیشتر = loss کمتر، و هزینه از جیب ذخیرهسازی
- فشردهسازی توجه کش KV رو کوچک کرده (V4-Pro روی ۱M فقط ۱۰٪ نسل قبل)
- وزنهای K3 با MXFP4 حدود ۱.۴ ترابایت؛ توصیهٔ سوپرنود با ۶۴+ شتابدهنده
- تو هایپراسکیل، اسپارسیتی تقاضای پهنای باند رو به تقاضای ظرفیت HBM تبدیل میکنه
- کلید آیندهٔ لایهبندی حافظه، آموزش روترها با محلیت عامدانهست
