قاضیِ صد برابر ارزونتر لنگچین برای تحلیل ردپای ایجنتها
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
لنگچین تو این پست توضیح میده که پلتفرم LangSmith روزانه میلیاردها توکن ردپای پروداکشن (trace) رو پردازش میکنه و یکی از چالشهای اصلیشون اینه که چطور از دل این حجم عظیم، سیگنالهای مفید رو مقرونبهصرفه استخراج کنن. سؤال پژوهشیشون این بود: چطور میشه از تکتک ردپاها سیگنال مهم بیرون کشید، اونم بدون اینکه هزینه سر به فلک بزنه و در عین حال کیفیت در حد مدلهای فرانتیر بمونه.
برای همین با Fireworks همکاری کردن و یه مدل قاضی رو فاینتیون کردن که مفهومی به اسم «خطای ادراکشده» (Perceived Error) رو تشخیص بده. طبق تعریف نویسندهها، خطای ادراکشده وقتیه که کاربر فکر میکنه دستیار اشتباه کرده یا چیزی تولید کرده که نیاز به اصلاح داره؛ این با درستی عینی جواب فرق داره. مثلاً ممکنه ایجنت جواب درستی بده ولی کاربر از خود اون اطلاعات ناراضی باشه.
نویسندهها میگن این مدل خطای ادراکشده رو از روی سیگنالهای ردپا استنتاج میکنه؛ چیزایی مثل تصحیحهای کاربر، رد کردن یه اقدام ایجنت، تکرار درخواست و اعتراف خود دستیار به اشتباه. بعدش ردپا رو با یه خروجی ساختارمند غنی میکنه که شکلش اینجوریه:
{"perceived_error": true, "reason": "The user corrects the meeting date the assistant used."}برای دیتاست از دو مجموعهٔ داخلی استفاده کردن: یکی chat-langchain (ایجنت پرسشوپاسخ مستندات) و دیگری Fleet (یه ابزار no-code برای ساخت ایجنت). فقط ردپاهای چندمرحلهای رو انتخاب کردن، چون تشخیص خطای ادراکشده به پاسخ انسان بعد از جواب AI نیاز داره. برچسبزنی هم با ترکیبی از یه پنل مدلها بهعلاوهٔ بازبینی انسانی انجام شده.
برای آموزش، مدل پایه رو Qwen-3.5-35B انتخاب کردن؛ به گفتهٔ نویسندهها مدلهای خیلی کوچیکتر نرخ خطای بالایی داشتن و برای استدلال روی ردپاهای چندمرحلهای بهقدر کافی قوی نبودن. آموزش رو فقط روی دیتاست chat-langchain و با روش SFT مدیریتشده و LoRA روی Fireworks انجام دادن تا بعداً بتونن انتقالپذیریشو به یه دامنهٔ کاملاً متفاوت بسنجن.
نتیجه سه نکتهٔ مهم داشت: اول اینکه فاینتیون تونست مدل پایه رو تا سطح مدلهای فرانتیر یا بالاتر ببره. دوم اینکه مدل آموزشدیده روی chat-langchain، روی دادهٔ Fleet که اصلاً ندیده بود از همهٔ مدلهای فرانتیر بهتر عمل کرد؛ یعنی این ارزیاب واقعاً به دامنههای دیگه منتقل میشه. سوم اینکه سرو کردن این مدل بسته به حجم ردپا و انتخاب مدل، حدود ۱۰ تا ۱۰۰ برابر ارزونتر از مدلهای فرانتیر تموم میشه و هرچی حجم بره بالاتر، صرفهجویی هم بیشتر میشه.
نتیجهگیری کلی نویسندهها اینه که مدلهای اپنسورس از یه آستانهٔ هوشمندی رد شدن و حالا برای خیلی از کارها به دستهبندهای آمادهٔ کمهزینه تبدیل شدن. با زیرساخت آموزش و اینفرنس Fireworks میشه این مدلها رو تا نزدیکی عملکرد فرانتیر برد ولی چند مرتبه ارزونتر اجراشون کرد.
نکات کلیدی:
- لنگچین و Fireworks یه «قاضی ردپا» برای تشخیص خطای ادراکشده روی ردپای پروداکشن ساختن
- خطای ادراکشده یعنی کاربر فکر کنه دستیار اشتباه کرده، نه لزوماً نادرستی عینی جواب
- مدل پایه Qwen-3.5-35B بود که با SFT و LoRA روی Fireworks فاینتیون شد
- مدل آموزشدیده روی یه دیتاست، روی دامنهٔ دیدهنشده هم از مدلهای فرانتیر بهتر شد
- در دقت همتراز مدلهای فرانتیره ولی ۱۰ تا ۱۰۰ برابر ارزونتر اجرا میشه
