‏مالیات پنهان استنتاج LLM و راه‌حل کشینگ پیشوند

به گفتهٔ نویسنده‌ها (مهندسی از دیجیتال‌اوشن و مدیرعامل Inferact)، استنتاج حالا حدود ۷۰٪ کل هزینهٔ محاسبات هوش مصنوعی رو تشکیل می‌ده و سهم بزرگی از این هزینه قابل‌اجتنابه. علتش محدودیت سخت‌افزار نیست، بلکه اینه که سیستم کاری رو که قبلاً انجام داده دوباره حساب می‌کنه — همون چیزی که بهش «prefill تکراری» می‌گن.

هر درخواست استنتاج دو فاز داره: prefill که کل ورودی پردازش می‌شه و کش کلید-مقدار (KV) ساخته می‌شه، و decode که توکن‌های خروجی یکی‌یکی تولید می‌شن. مشکل توی prefill پنهانه چون هزینه‌اش با طول ورودی به‌صورت درجه‌دومه. مثال واقعی: یک پرامپت سیستمیِ ۲۰۰۰ توکنی که توی همهٔ درخواست‌ها یکیه، با پیام کاربر ۲۰۰ توکنی یعنی حدود ۹۱٪ ورودی مشترکه؛ توی ۱۰ هزار درخواست در ساعت، بیش از یک تریلیون FLOP در ساعت دور ریخته می‌شه.