بنچمارک ClinReg: مدلهای وزنباز به مدلهای بسته رسیدن
هوش مصنوعیClaude Opus 5خلاصهٔ کاملتر
این پست از تیم Log10 و Everest با یک نکته شروع میشه: تو کارهای رگولاتوری علوم زیستی، دقت کل بازیه. یک مقالهٔ جامانده تو مرور نظاممند یا یک عدد ساختگی تو جدول استخراج داده میتونه تا خود پروندهٔ ارسالی به رگولاتور سرایت کنه. نویسندهها میگن فرض رایج این بوده که فقط مدلهای بستهٔ فرانتیر رو میشه به همچین کارهایی سپرد، و بنچمارک ClinReg رو ساختن تا همین فرض رو بسنجن — چون به گفتهٔ خودشون بیشتر بنچمارکهای موجود سراغ مرحلهٔ کشف دارو رفتن، نه نیمهٔ دوم و گرانتر مسیر.
ClinReg سه تسک واقعی رو پوشش میده: غربال متن کامل ۴۷ مقاله بر پایهٔ یک مرور کاکرین، بازسازی بخش شیمی، تولید و کنترل (Module 3) یک پروندهٔ IND فقط از روی گزارش عمومی EPAR همراه با استخراج ۱۰۸ فیلد، و ساخت کل خط لولهٔ CDISC از دادهٔ خام CRF تا ۱۳ جدول و نمودار گزارش بالینی. دو تسک آخر ایجنتیکان؛ مدل تو تسک سوم باید سه اسکریپت پایتون بنویسه و اجرا کنه و با یک ولیدیتور قطعی خودش رو اصلاح کنه، بدون اینکه کلید جواب رو ببینه.
تو امتیاز کلی، GPT 5.6 Sol با ۸۸.۴ صدرنشین شد، ولی GLM 5.2 با ۸۷.۴ و Kimi K3 با ۸۶.۹ عملاً داخل یک انحراف معیارش موندن — با هزینهای معادل ۳۳.۸٪ و ۵۹.۶٪ هزینهٔ مدل اول. نویسندهها یادآوری میکنن همین چند ماه پیش بهترینها حدود ۹ برابر گرانتر بودن. نکتهٔ جالب دیگه اینکه بهترین مدلهای وزنباز آمریکایی، یعنی Gemma 4 و Nemotron 3 Ultra، ته جدول موندن، و دو مدل هم بهخاطر تریگر ایمنی زیستی از انجام تسکها سر باز زدن و از تحلیل کنار گذاشته شدن.
الگوی خطاها بین تسکها فرق داشت و همین جالبترین بخش گزارشه. تو غربال ادبیات همه بین ۸۵ تا ۹۴ درصد جمع بودن، ولی روی مقالههای متفاوتی اشتباه میکردن؛ بعضی مدلها سختگیرتر حذف میکردن و بعضی به بازیابی بیشتر تمایل داشتن. تو تسک IND چیزی که فرق ساخت خویشتنداری بود: مدل خوب جای خالی رو با حدس قابلقبول ولی بیپشتوانه پر نمیکرد، بعضیها زیادی محتاط بودن و محتوای واقعی رو جا میذاشتن و بعضیها مقدار نگفته اختراع میکردن. تو تسک TLF برعکس، پشتکار برنده بود؛ مدلهای وزنبازِ بالای جدول تا وقتی چکهاشون پاس نمیشد ادامه میدادن.
نویسندهها چند درس ارزیابی هم جمع کردن. میگن به یک داور LLM تنها نمیشه اعتماد کرد، چون مدلها روی مقیاسهای متفاوتی نمره میدن و بعضیهاشون خروجی خودشون رو ترجیح میدن؛ برای همین چهار داور فقط «یافته» تولید میکنن و یک مدل رئیس نمرهٔ نهایی رو میده، و تو تسک TLF میانهٔ نظر سه منتقد ملاکه. کنارش دو متریک کاملاً قطعی — نرخ حذف و نرخ جعل — گذاشتن که دو حالت خطای متفاوت رو آشکار میکنه. جمعبندیشون اینه که هارنس بخشی از مدله و انتخاب مدل دیگه بخش سخت ماجرا نیست.
نکات کلیدی:
- بهترین مدلهای وزنباز (GLM 5.2 با ۸۷.۴ و Kimi K3 با ۸۶.۹) داخل یک انحراف معیار بهترین مدل بسته (GPT 5.6 Sol با ۸۸.۴) قرار گرفتن
- شکاف هزینه یکطرفه و بزرگه: حدود یکسوم هزینهٔ مدل اول و حدود یکدهم هزینهٔ گرانترینها
- برابری به معنی یکسانبودن نیست؛ مدلهای همامتیاز جور متفاوتی شکست میخورن، پس انتخاب باید بر اساس پروفایل خطا باشه
- ولیدیتور، شرط توقف و رفتار تلاش دوباره — یعنی هارنس — به اندازهٔ خود مدل روی نتیجه اثر میذاره
- مدلهای وزنباز آمریکایی تو این مجموعه از رقبای غیرآمریکایی عقب موندن
- متریکهای قطعی و داوری چندمرحلهای، جایگزین بهتری برای نمرهدادن با یک داور LLM هستن
