Cerebras مدل Kimi K2 را با سرعت ۱۰۰۰ توکن در ثانیه اجرا میکنه
هوش مصنوعیخلاصهٔ کاملتر
Cerebras، شرکت سازنده تراشههای هوش مصنوعی با معماری wafer-scale (تراشههایی که به جای چیپهای کوچک جداگانه، کل ویفر سیلیکون رو به یک تراشه تبدیل میکنن)، اعلام کرده که موفق شده مدل Kimi K2 رو با سرعت حدود ۱۰۰۰ توکن در ثانیه اجرا کنه. این رقم توسط شرکت تحلیلی Artificial Analysis اندازهگیری شده و به عنوان سریعترین عملکرد یک frontier model — یعنی مدلهای زبانی بزرگ در سطح پیشرفته — ثبت شده.
Kimi K2 یک مدل با یک تریلیون پارامتر هست که توسط Moonshot AI ساخته شده. این مدل در حال حاضر در فاز آزمایش سازمانی (enterprise trial) توسط Cerebras در حال اجراست و هنوز به صورت عمومی در دسترس نیست.
این خبر ادامهای بر روند رکوردشکنیهای Cerebras در سرعت استنتاج هست. این شرکت قبلاً هم برای مدل Llama 3.1-70B سرعت ۲۱۰۰ توکن در ثانیه رو گزارش داده بود — که اون موقع ۱۶ برابر سریعتر از سریعترین راهحل مبتنی بر GPU بود. رسیدن به ۱۰۰۰ توکن در ثانیه برای مدلی با یک تریلیون پارامتر، دستاورد متفاوتیه چون مدلهای بزرگتر معمولاً به طور چشمگیری کندتر اجرا میشن.
نکات کلیدی:
- Cerebras مدل Kimi K2 با یک تریلیون پارامتر رو با ~۱۰۰۰ توکن در ثانیه اجرا میکنه
- این رکورد توسط Artificial Analysis به عنوان سریعترین frontier model تاکنون تأیید شده
- مدل هماکنون در فاز آزمایشی سازمانی (enterprise trial) قرار داره
- سختافزار wafer-scale سرباس عامل اصلی این سرعت بالاست
