‏ابزاری برای لمس سرعت واقعی مدل‌های زبانی

بنچمارک‌های مدل‌های زبانی محلی همیشه با یه عدد همراهن: «۴۷ توکن در ثانیه روی M3»، «۱۸۰ توکن در ثانیه روی RTX 4090»، «۵۰۰ توکن در ثانیه روی Groq». مشکل اینه که این اعداد تا وقتی که با چشم ببینی چطور استریم می‌شن، معنای ملموسی ندارن. این ابزار دقیقاً همین خلأ رو پر می‌کنه — یه شبیه‌ساز بصری که سرعت‌های مختلف رو به نمایش می‌ذاره.

ابزار چهار حالت مختلف داره. code برای کدی که با هایلایت سینتکس استریم می‌شه، text برای متن معمولی مثل چت و پاسخ‌های روزمره، think برای شبیه‌سازی مدل‌های استدلالی که بلندبلند فکر می‌کنن (جملات تفکر کم‌رنگ و ایتالیک در کنار کد)، و agent برای نمایش یه عامل هوش مصنوعی که بین فراخوانی ابزارها و تولید کد در حال کاره.

برای استفاده، از سرعت پیش‌فرض ۳۰ توکن در ثانیه شروع کن و کم‌کم کلیدها رو امتحان کن: عدد ۱ سرعت ۵ توکن در ثانیه رو نشون می‌ده که کلاس مدل‌های محلی روی Raspberry Pi ـه؛ ۵ معادل ۶۰ توکن در ثانیه و سرعت معمول سرویس‌هایی مثل Claude یا GPT ابریه؛ ۷ حدود ۲۰۰ توکن در ثانیه و قلمرو Groqه؛ و ۹ با ۸۰۰ توکن در ثانیه سرعت سرویس‌هایی مثل Cerebras رو شبیه‌سازی می‌کنه — جایی که گلوگاه دیگه مدل نیست، چشم‌های خودته.

یه نکته مهم اینه که کد نسبت به نوشتار معمولی توکن‌فشرده‌تر (token-dense) ـه. توکن‌بندی به سبک BPE کار می‌کنه: کلمات کوتاه معمولاً یه توکنن، ولی شناسه‌های بلندتر می‌شکنن — مثلاً processUserInput به سه تکه process، User و Input تقسیم می‌شه. علامت‌گذاری و اپراتورها هم توکن حساب می‌شن.

همین فشردگی باعث می‌شه که همون سرعت ۱۰۰ توکن در ثانیه وقتی کد استریم می‌کنه حس متفاوتی داشته باشه تا وقتی متن روان فارسی یا انگلیسی می‌آد. نوشتار انگلیسی به طور میانگین ۱.۳ توکن به ازای هر کلمه داره، یعنی ۳۰ توکن در ثانیه تقریباً برابره با ۲۳ کلمه در ثانیه — کمی سریع‌تر از سرعت خوندن راحت یه آدم.

نکات کلیدی:

• این ابزار کمک می‌کنه اعداد بنچمارک مدل‌های زبانی رو به صورت بصری درک کنی
• چهار حالت code، text، think و agent برای شبیه‌سازی سناریوهای مختلف
• از ۵ تا ۸۰۰ توکن در ثانیه قابل تنظیمه تا طیف کامل سرویس‌ها پوشش داده بشه
• کد توکن‌فشرده‌تر از متن معمولیه، پس سرعت یکسان احساس متفاوتی می‌ده
• توکن‌بندی از نوع BPE استفاده می‌کنه، نه انکودر اختصاصی هیچ سرویسی