‏چرا باید از هوش مصنوعی ابری فاصله بگیریم؟

گیتهاب اعلام کرد که کوپایلت دیگه اشتراک ماهانه ثابت نداره و کاربرا باید بر اساس توکن مصرفی بپردازن. این خبر برای کسایی که از پلن رایگان یا فردی استفاده می‌کردن تلخه، چون کوپایلت با ۱۰ دلار در ماه دسترسی به مدل‌هایی مثل Sonnet و Opus رو با سقف بیشتری نسبت به Claude.ai می‌داد. نویسنده معتقده این قیمت‌گذاری ارزون اصلاً سخاوت نبوده؛ شرکت‌های هوش مصنوعی دارن هزینه جذب کاربر رو یارانه می‌دن تا وابستگی بسازن و بعداً ارزش رو استخراج کنن. هر workflow که دور API اون‌ها می‌چینی، یه هزینه تغییر پلتفرم می‌شه که اون‌ها برات جمع می‌کنن.

نویسنده تصمیم گرفته با خرید سخت‌افزار، inference محلی (اجرای مدل‌های زبانی روی ماشین خودت به جای ابر) رو جدی بگیره. الان روی چیپ Ryzen AI Max+ با ۱۲۸ گیگابایت حافظه یکپارچه کار می‌کنه و مدل‌هایی مثل Qwen3 27B و Gemma 4 رو برای تسک‌های پس‌زمینه مثل خلاصه‌سازی ایمیل، نوشتن متن با TTS و جلسات اجرا می‌کنه. اما برای کارهای پیچیده‌تر مثل agent های کدنویسی یا حلقه‌های ابزارفراخوانی (tool call)، این setup کافی نیست چون throughput یا همون سرعت تولید توکن پایینه.

برای فهمیدن اینکه چه سخت‌افزاری واقعاً لازمه، باید بدونیم inference چطور کار می‌کنه. سه منبع اصلی درگیرن: ظرفیت حافظه (آیا مدل اصلاً جا می‌شه؟)، پهنای باند حافظه (چقدر سریع وزن‌های مدل به واحدهای پردازشی منتقل می‌شن؟) و قدرت محاسباتی خام. اکثر آدم‌ها روی سومی فوکوس می‌کنن، ولی گلوگاه تقریباً همیشه دومیه. مدل زبانی توکن‌ها رو یکی‌یکی و به صورت autoregressive تولید می‌کنه و هر توکن نیاز داره که حجم زیادی از وزن‌های مدل از حافظه خونده بشه. این یعنی سوال اصلی اینه: چقدر سریع می‌شه داده رو از حافظه استریم کرد؟ این همونه که Apple با معماری unified memory در M-chips به طور تصادفی درست گرفت.

یه چالش مهم دیگه KV cache ه؛ وقتی مدل یه مکالمه طولانی یا کانتکست کد بزرگ پردازش می‌کنه، وکتورهای key و value هر لایه attention رو cache می‌کنه تا مجبور نباشه دوباره محاسبه کنه. این cache با طول کانتکست رشد می‌کنه و می‌تونه بیشتر VRAM رو قبل از لود شدن وزن‌های مدل ببلعه. معماری‌های جدیدتر مثل Qwen3 این مشکل رو هوشمندانه حل کردن: فقط ۱۰ تا از ۴۰ لایه مدل از KV cache کامل استفاده می‌کنن، پس رفتن از ۴k به ۶۵k کانتکست فقط حدود ۸۰۰ مگابایت VRAM اضافه می‌خواد به جای چند گیگابایت.

برای کارهای agentic، سرعت توکن (tok/s) خیلی بیشتر از یه چت‌بات ساده اهمیت داره؛ چون در یه حلقه agent لیتنسی تجمع پیدا می‌کنه. در ۵ tok/s بین هر تکرار حلقه چند ثانیه صبر می‌کنی، در ۴۰ tok/s حلقه آنی به نظر می‌رسه. این دقیقاً فرقِ یه coding agent مفید با یه agent خسته‌کننده‌ست. هدف نویسنده برای setup بعدیش رسیدن به همین عدد ۵۰ tok/s هست که نیاز به سرمایه‌گذاری چند هزار دلاری در سخت‌افزار داره.

نکات کلیدی:

• سرویس‌های ارزون هوش مصنوعی دارن وابستگی می‌سازن، نه ارزش می‌دن
• گلوگاه اصلی inference، پهنای باند حافظه (GB/s) ه، نه قدرت محاسباتی
• KV cache می‌تونه با کانتکست‌های طولانی حافظه رو تموم کنه؛ معماری‌های جدید این رو بهینه کردن
• برای agent های کدنویسی به حداقل ~۴۰ tok/s نیاز داری تا تجربه قابل تحمل باشه
• unified memory در Apple M-chips و Ryzen AI Max+ برای inference محلی خیلی مناسبه