سریعکردن مدلهای متنباز برای ایجنت کدنویسی
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ نویسنده، یه ویرایش در واقع بیشترش کپیِ همون فایلیه که داره ویرایش میشه، و ایجنت هر نوبت همون مخزن رو دوباره میخونه؛ یعنی بافتار این نوبت بیشترش همون بافتار نوبت قبله. پشتهٔ استنتاج عمومی این همه تکرار رو دور میریزه و هر توکن رو انگار اولین باره رمزگشایی میکنه. مورف میگه همین اتلاف، فرصتشونه: وزنها رایگان قابلدانلودن و محصول واقعی، سرعته.
اولین کار، آموزش «مدل پیشبین»ه. تو رمزگشایی حدسی، یه مدل کوچیک چند توکن بعدی رو حدس میزنه و مدل اصلی یکجا تأییدشون میکنه؛ هرچی نرخ پذیرش بالاتر باشه سرعت بیشتره. به گفتهٔ نویسنده یه مدل پیشبین عمومی حدود ۱.۹۳ برابر شتاب میده، ولی وقتی همون مدل روی خروجی کدِ مدل هدف آموزش ببینه، این عدد به ۳.۰۷ برابر میرسه.
نکتهای که نویسنده روش تأکید میکنه اینه که مدل پیشبین باید کوچیک ولی «بیشآموزشدیده» باشه. برای مدلی که یه بار آموزش میبینه ولی میلیاردها بار سرو میشه، قانونهای مقیاس معمول صدق نمیکنه و بهینه بهسمت مدل کوچیک و آموزشدیده روی حجم زیاد میل میکنه. چون کد پر از الگو و نمادهای تکراریه، مدلی که میلیونها diff دیده اون توکنها رو خوب حدس میزنه.
کار دوم، جستوجوی خودکار کرنله. کشکردن پیشوندِ درخواستها فقط وقتی صرف میکنه که کرنلها روی همون کارتی که واقعاً استفاده میشه سریع باشن، ولی کرنلهای پیشفرض برای کارتهای گرونقیمت تنظیم شدن. چون درستیِ یه کرنل قابلسنجشه، مورف یه حلقهٔ خودکار میسازه که کرنل پیشنهاد میده، درستیش رو چک میکنه و روی کارتهای ارزون تنظیمش میکنه؛ نتیجه ۱۶۲ توکن بر ثانیه روی یه کارت ۷ هزار دلاریه.
کار سوم، نوشتن شبکهٔ ارتباطیه. کارتهای ارزون NVLink ندارن و پهنای باند PCIe حدود ۱۴ برابر کمتره؛ همین باعث میشه ارتباط بین کارتها بخش بزرگی از هر گام رو بخوره. مورف میگه بهجای خریدن سختافزار گرون، کرنلهایی نوشته که این ارتباط رو با محاسبه همپوشان میکنه و یه کش پیشوند که بین ماشینها روی TCP ساده رد و بدل میشه. جمعِ این سه کار، سرعت رو روی سختافزاری میسازه که بقیه ازش رد شدن.
نکات کلیدی:
- کارِ ایجنت کدنویس پر از تکراره و همین فرصت اصلی برای سرعته
- مدل پیشبینِ آموزشدیده روی کد، شتاب رمزگشایی حدسی رو از ۱.۹ به ۳ برابر میرسونه
- جستوجوی خودکار کرنل روی کارتهای ارزون به ۱۶۲ توکن بر ثانیه میرسه
- برای کارتهای بدون NVLink، ارتباط PCIe و کش پیشوند روی TCP نوشته شده
