چطور مصرف توکن ایجنت رو ۸ برابر کم کنیم
هوش مصنوعیخلاصهٔ کاملتر
آدام جیکوب تو این پست تعریف میکنه که چطور مصرف توکن یه ورکفلوی سنگین بازبینی کد رو حدود ۸ برابر کم کرده و زمان اجراش رو نصف کرده، بدون اینکه چیزی از قابلیتهاش کم بشه. نکتهٔ اصلیش هم اینه: بار کردن منطق و هماهنگی پیچیده روی خودِ اسکیل ایجنت، ناکارآمدترین راه ممکنه.
ماجرا از پستی شروع میشه که دیوید کرامر (از Sentry) نوشته بود؛ اون تعریف کرده بود که تو یک هفته بیشتر از ۱۰ هزار دلار توکن خرج کرده و نتیجه گرفته بود مدلهای جدید برای استفادهٔ گسترده اصلاً بهصرفه نیستن. بخش زیادی از این خرج هم مربوط به اسکیل خودش، Garfield، بود: یه فریمورک تطبیقی بازبینی کد که بعد از هر تغییر، رعایت استانداردهای پروژه رو چک میکنه.
نویسنده میگه وقتی همون اسکیل رو اجرا کرده، حدود ۴.۵ میلیون توکن مصرف شده، ۱۲ دقیقه طول کشیده و ۲۳ سابایجنت درگیر شدن. ساختارش اینه که یه ایجنت هماهنگکننده مدام سابایجنت میفرسته، رأیشون رو جمع میکنه و آخرش هم یه پاس تأیید نهایی میزنه. زیباست، ولی گرونترین حلقهٔ ممکنه، چون یه داورِ غیرقطعی داره خروجی فرایندهای غیرقطعی دیگه رو ارزیابی میکنه.
نسخهٔ بازنویسیشده همون رفتار رو نگه داشته ولی کار هماهنگکننده رو به کد قطعی سپرده: حدود ۵۰۰ هزار توکن، ۶.۵ دقیقه و فقط ۳ ایجنت. خروجی هر سابایجنت هم به شکل دادهٔ نوعدار و نسخهدار ذخیره میشه، برای همین هر مرحله قابل ردیابیه و ایجنتها تاریخچهٔ کار خودشون رو میبینن و دوبارهکاری نمیکنن.
برای بازسازی این کار، نویسنده یه مسیر چهار مرحلهای پیشنهاد میده: اول بفهم اسکیل فعلی دقیقاً چیکار میکنه (حتی میتونی از خود ایجنت بخوای خلاصهش کنه)، بعد ازش بخواه رفتار رو به کد قطعی ترجمه کنه و اول یه برنامه بده که خودت مرور کنی، بعد پیادهسازی و آخرش اندازهگیری.
مرحلهٔ اندازهگیری همون چیزیه که نویسنده روش تأکید داره: یه تست پذیرش جعبهسیاه بنویس که هر دو نسخه رو روی کار واقعی اجرا کنه و توکن، زمان و موفقیت رو مقایسه کنه. جالب اینکه همین تستها یه تفاوت مهم رو لو دادن؛ تو یه دیف پیچیده، اسکیل اصلی ایراد رو پیدا نکرد ولی کار رو موفق اعلام کرد، در حالی که نسخهٔ قطعی صادقانه گزارش داد که هنوز موارد حلنشده باقی مونده.
جمعبندی نویسنده اینه که هوش مصنوعی گرونترین بخش سیستمه، پس باید فقط جایی خرجش کنی که واقعاً ارزش اضافه میکنه؛ بقیهٔ منطق — که تقریباً همهشه — میره تو بلوکهای قطعی و قابل بازاستفاده. به قول خودش، از ایجنت استفاده میکنی تا برنامهای بسازی که نیاز به خود ایجنت رو کم کنه.
نکات کلیدی:
- گذاشتن یه ایجنت هماهنگکننده وسط مسیر، بیشترین سهم رو تو مصرف توکن داره
- تبدیل منطق هماهنگی به کد قطعی: ۴.۵ میلیون توکن به ۵۰۰ هزار و ۱۲ دقیقه به ۶.۵ دقیقه رسید
- ذخیرهٔ خروجی هر مرحله به شکل دادهٔ نوعدار و نسخهدار، هم شفافیت میده هم جلوی دوبارهکاری رو میگیره
- تست پذیرش جعبهسیاه بذار تا بتونی توکن و زمان و کیفیت رو واقعاً مقایسه کنی
- فرق مهم: نسخهٔ قطعی موارد حلنشده رو گزارش کرد، اسکیل اصلی کار ناقص رو موفق اعلام کرد
