بنچمارک CursorBench 3.1؛ رتبهبندی مدلهای کدنویسی
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
کرسر (Cursor) صفحهی نتایج بنچمارک CursorBench رو بهروز کرده و رتبهبندی نسخهی ۳.۱ رو گذاشته. ایدهی این بنچمارک اینه که مدلهای کدنویسی رو همزمان از دو زاویه بسنجه: درصد موفقیت (دقت) و هزینهی متوسط هر تسک.
طبق changelog، نسخهی ۳.۰ اولین مجموعه تسکها بوده که رو ویرایش، refactor و رفع باگ تمرکز داشته. تو نسخهی ۳.۱ مسائل تازهای حول درک کدبیس (codebase understanding)، باگیابی، برنامهریزی و code review اضافه شده و معیارهای نمرهدهی بعضی تسکهای ویرایشی هم بهتر شده.
تو بالای جدول، خانوادهی Fable 5 با پیکربندیهای مختلف (مثل Max و Extra High) بیشترین درصد موفقیت رو گرفتن و بعدش مدلهایی از خانوادههای دیگه مثل Opus و GPT-5.5 قرار دارن. اما نکتهی مهم اینجاست که بیشترین دقت با بیشترین هزینه همراهه؛ یعنی صدرِ جدول لزوماً بهصرفهترین انتخاب نیست.
همین باعث میشه بعضی مدلهای میانرده جذاب بشن، چون با هزینهی خیلی کمتر به دقتی نزدیک مدلهای گرانقیمت میرسن و از نظر ارزش بهازای هزینه بهتر عمل میکنن. این یادآوری خوبیه که موقع انتخاب مدل، فقط به درصد موفقیت نگاه نکنیم.
خودِ کرسر هم تأکید کرده که هزینهی هر تسک بر پایهی قیمتگذاری منتشرشدهی هر مدل (ورودی، cache read/write و خروجی) روی توکنهای مصرفی حساب و بین تسکها میانگین گرفته شده، و نتایج در معرض واریانسن؛ پس تفاوتهای کوچیک لزوماً از نظر آماری معنادار نیستن.
نکات کلیدی:
- CursorBench 3.1 مدلهای کدنویسی رو همزمان رو دقت و هزینهی هر تسک میسنجه
- نسخهی ۳.۱ تسکهای درک کدبیس، باگیابی، برنامهریزی و code review رو اضافه کرده
- صدر جدول بیشترین دقت رو داره ولی گرانترینه؛ مدلهای میانرده ارزش/هزینهی بهتری دارن
- هزینه بر پایهی قیمتگذاری رسمی هر مدل روی توکن مصرفی حساب شده
- نتایج واریانس دارن و تفاوتهای کوچیک لزوماً معنادار نیستن
