چرا اندازهگیری با یادگیری فرق داره
خلاصهٔ کاملتر
اَنت مورفی، مربی و نویسندهی حوزهی محصول، تو این مطلب سراغ یه مشکل رایج میره: پستهای «۵ متریکی که هر استارتاپ باید رصد کنه». به گفتهی نویسنده، اینجوری آدم کلی متریک رصد میکنه بدون اینکه بفهمه چرا و چطور روی محصول اثر میذارن، و متریکها یا تبدیل به نویز میشن یا یه کار تشریفاتی. مثالش یه مدیر محصول تو یه استارتاپ بیمهست که بنیانگذارش MAU (کاربر فعال ماهانه) رو بهعنوان متریک North Star انتخاب کرده بود.
وقتی نویسنده ازش میپرسه از MAU دنبال یاد گرفتن چی هستین، جواب روشنی نداره. با یه بازتعریف سؤال معلوم میشه که اصلاً نمیخوان کاربر ماهانه سراغ اپ بیاد؛ چون آدم فقط وقتی سراغ بیمه میره که یه مشکلی پیش اومده و خسارت زیاد یعنی یه جای کار میلنگه. پس MAU برای این کسبوکار متریک خوبی نبوده و فقط چون تو اون پستها زیاد دیده میشده، انتخاب شده.
قلب حرف نویسنده دو تا سؤاله که باید دربارهی هر متریک بپرسی: میخوای چی یاد بگیری؟ و در نتیجهش چه تغییری میدی؟ به گفتهی اون، چرخهی بساز-اندازهبگیر-یادبگیر فقط وقتی کار میکنه که اندازهگیری به یادگیری و یادگیری به عمل برسه. اگه MAU ۱۰ درصد بیفته و جوابت به «چیکار میکنی؟» هیچی باشه، اصلاً چرا داری رصدش میکنی.
توصیهی بعدی اینه که از مسئله شروع کنی، نه از متریک. خیلیها برعکس عمل میکنن: ابزار تحلیل رو باز میکنن و از منوی چیزهایی که همین الان قابل اندازهگیریه انتخاب میکنن. نویسنده به تفکیک اریک ریس تو کتاب Lean Startup اشاره میکنه: متریکهای پوچ (مثل تعداد کل ثبتنام و دانلود) فقط حالت رو خوب میکنن، ولی متریکهای عملی بهت میگن قدم بعدی چیه، مثل نرخ تبدیل کاربر تازه به کاربر فعال.
نویسنده به یه مقالهی ۱۹۵۶ از V.F. Ridgway اشاره میکنه که هشدار میده اندازهگیریِ چیزی که آسونه، چیزی که واقعاً مهمه رو کنار میزنه. خودش بهجای نرخ باز شدن ایمیل، نسبت خواندهشدن به مشترک رو رصد میکنه که سختتره ولی معنیدارتره. به گفتهی اون، اصطکاک نشونهی خوبیه؛ یعنی متریک منحصربهفرده و به رفتار واقعی گره خورده، پس ارزش داره که فشار بیاری و ازش رد شی.
یه نکتهی دیگه دقیق بودنه: مثلاً «زمان تکمیل یه کار» میتونه از لحظهی لود شدن صفحه حساب شه یا از اولین اقدام کاربر، و این دوتا داستانهای خیلی متفاوتی میگن؛ برای همین تیمش تصمیم گرفت هردو رو رصد کنه. نویسنده میگه هوش مصنوعی اینجا کمکش کرده متریکهایی که قبلاً از چند سیستم جدا درنمیاومد رو کنار هم بذاره. جمعبندیش اینه: از چیزی که میخوای یاد بگیری شروع کن، بعد تعریف کن چطور اندازهش میگیری.
نکات کلیدی:
- هر متریک باید به دو سؤال جواب بده: چی یاد میگیری و چه تغییری میدی
- اگه تکون خوردن یه متریک هیچ تصمیمی نسازه، حذفش کن
- از مسئله شروع کن، نه از منوی چیزهایی که راحت اندازه گرفته میشن
- متریکهای پوچ حالت رو خوب میکنن، متریکهای عملی قدم بعدی رو نشون میدن
- سختِ اندازهگیری بودنِ یه متریک معنیدار، دلیل کنار گذاشتنش نیست
