Agent Lightning v1.0: یادگیری تقویتی برای ایجنتهای واقعی
هوش مصنوعیClaude Sonnet 5خلاصهٔ کاملتر
ایجنتهای امروزی معمولاً داخل یه harness اجرا میشن؛ یعنی لایهای که ابزارها، context و مسیر کنترل رو مدیریت میکنه. نسخهی اول Agent Lightning یه معماری جدا-از-هم معرفی کرده بود که هر ایجنتی رو از طریق یه پروکسی endpoint شبیه LLM به آموزش RL وصل میکنه؛ رویکردی که بعداً فریمورکهایی مثل verl Uni-Agent، AReaL 2.0، slime و Polar هم ازش الهام گرفتن. نویسندهها به این الگو میگن harnessed agentic RL.
فرقش با agentic RL سنتی اینه که تو این الگو، این harness ـه که چرخهی تعامل با محیط رو در دست داره، نه موتور آموزش؛ موتور آموزش فقط یه سری جفت request-response از LLM میبینه. به گفتهی نویسندهها همین جدایی چالشهای تازهای میسازه: retokenization، ادغام نمونهها، محاسبهی advantage، نرمالسازی loss و زمانبندی backend، که هر کدوم میتونن روی پایداری و اثربخشی آموزش تاثیر بذارن.
Agent Lightning v1.0 یه فریمورک سبک با حدود ۳۵۰۰ خط کده که از هر نوع harness پشتیبانی میکنه و به گفتهی نویسندهها بهعنوان یه بستر عملی برای بررسی همین چالشها طراحی شده. تیم روش رو روی ایجنتهای دنبالکردن دستور، جستوجو و کدنویسی امتحان کرده و یه پایپلاین کامل و قابل بازتولید برای آموزش ایجنت کدنویسی هم منتشر کرده.
نتیجهی جالب اینجاست: با فقط ۶ هزار نمونهی آموزشی و منابع محاسباتی نهچندان زیاد، آموزش RL دقت مدل Qwen3.5-9B رو روی SWE-bench Verified از ۴۱.۸٪ به ۵۶.۴٪ رسونده؛ یعنی یه جهش ۱۴.۶ امتیازی. تیم سازنده کل کد و اسکریپتهای آموزش رو هم متنباز منتشر کرده تا این پژوهش قابل بازتولید باشه.
نکات کلیدی:
- Agent Lightning v1.0 حدود ۳۵۰۰ خط کد داره و متنبازه
- مدل Qwen3.5-9B روی SWE-bench Verified از ۴۱.۸٪ به ۵۶.۴٪ رسیده (رشد ۱۴.۶ امتیازی)
- این نتیجه فقط با ۶ هزار نمونهی آموزشی و منابع محاسباتی محدود بهدست اومده
- فریمورکهایی مثل verl Uni-Agent، AReaL 2.0، slime و Polar از همین معماری disaggregated الهام گرفتن
- کد و اسکریپتهای کامل آموزش به صورت متنباز منتشر شده
