۷ درس الاستیک برای رصد کردن اپلیکیشنهای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
برد کوآری از الاستیک تو این مقاله میگه تیم IT خودشون تو شش ماه با اپلیکیشنهای داخلی هوش مصنوعی، ۲.۵ میلیون دلار زمان عملیاتی برگردوندن؛ مثلاً یه دستیار پشتیبانی مکالمهای، ۳۰٪ از تیکتها رو بدون نیاز به اپراتور بسته. اما طبق نظرسنجی الاستیک از ۵۰۰ مدیر IT، با اینکه ۸۵٪ میخوان observability (یعنی رصد و ردیابی دقیق رفتار سیستم) رو برای مدلهای زبانیشون راه بندازن، فقط ۸٪ واقعاً این کارو کردن.
درس اول اینه که رصد نباید فاز دوم پروژه باشه؛ باید از همون MVP اول توش گنجونده بشه، چون دادههای استفادهٔ اولیه بعداً قابل بازسازی نیستن. درس دوم هم میگه چون هوش مصنوعی مولد برخلاف سیستمهای قدیمی همیشه یه جواب ثابت نمیده، معیارهای کلاسیک مثل uptime و latency کافی نیستن؛ باید مصرف توکن، کیفیت بازیابی اطلاعات و نوع سوالهای کاربرا رو هم دنبال کرد تا بشه فهمید نسخهٔ جدید واقعاً بهتر شده یا فقط فرق کرده.
درس سوم توصیه میکنه بهجای اسمگذاری دستی فیلدها، از استاندارد OpenTelemetry برای هوش مصنوعی مولد استفاده بشه، چون تغییر بعدی فقط یه مهاجرت کوچیکه، نه بازسازی کامل داشبوردا. درس چهارم هم هشدار میده خیلی از تیمها بهجای گرفتن تعداد دقیق توکن و هزینه از پاسخ خود ارائهدهندهٔ مدل، خودشون تخمین میزنن یا قیمت رو تو کد هاردکد میکنن، که باعث میشه گزارش هزینه با فاکتور واقعی جور در نیاد.
درس پنجم میگه دو تصمیم ساده هزینهٔ رصد رو منفجر میکنه: تگ زدن متریکها با مقادیری مثل شناسهٔ مکالمه که با رشد کاربرا زیاد میشن، و نمونهبرداری یکنواخت که خطاها (که اصلیترین دلیل وجود تلهمتریه) رو به همون نسبت موفقیتها حذف میکنه. درس ششم هم تجربهٔ خود الاستیک رو نقل میکنه: تو یه بررسی، یه جواب اشتباه به این خاطر بود که فقط سه تا از شش حوزهٔ لازم رو بازیابی کرده بود، نه اینکه مدل ضعیف باشه؛ یعنی اغلب مشکل کیفیت از داده و بازیابیه، نه از خود مدل.
درس آخر تاکید میکنه دیدن هزینه به معنی سنجش کیفیت نیست؛ باید معیار رو از «قیمت هر تماس» به «هزینهٔ هر کار تمامشده» تغییر داد، چون یه مدل ارزونتر که مجبوره چندبار تلاش کنه، در عمل گرونتر از آب در میاد. نویسنده نتیجه میگیره سازمانی که نتونه نتیجهٔ کار دستیارشو اندازه بگیره، پایهای برای دادن اختیار عمل به یه ایجنت خودکار نداره.
نکات کلیدی:
- تیم IT الاستیک تو شش ماه ۲.۵ میلیون دلار زمان عملیاتی از اپلیکیشنهای هوش مصنوعی داخلی برگردوند
- تو نظرسنجی ۵۰۰ مدیر IT، ۸۵٪ خواهان observability برای LLM بودن ولی فقط ۸٪ واقعاً پیادهش کردن
- استفاده از OpenTelemetry برای هوش مصنوعی مولد سال به سال تقریباً دوبرابر شده و ۶۰٪ سازمانها از یه توزیع فروشنده استفاده میکنن
- ۹۷٪ سازمانها تا حالا هزینهٔ غیرمنتظرهٔ observability داشتن و ۶۷٪ میگن این اتفاق مرتب میافته
- توصیهٔ اصلی: معیار رو از قیمت هر تماس به «هزینهٔ هر کار تمامشده» تغییر بدید
