جعبه سیاه اشتباه: مشکل واقعی پروژههای هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
هفته پیش ۸ مدیر ارشد توی یه کارگاه در آلمان نشستن تا جواب یه سوال ساده رو پیدا کنن: یه ایجنت هوش مصنوعی به چه دانشی از شرکت نیاز داره تا بتونه درست کمک کنه؟ چهار ساعت بعد، یه لیست ۴۷ آیتمی روی دیوار بود. ۲۱ تاش هیچجا مستند نبود، ۷ تاش رو هیچکس توی اتاق نمیتونست درست توضیح بده، و ۴ تاش اونقدر حساس بود که وقتی بهشون رسیدن، سکوت کامل حاکم شد — چون همه میدونستن نسخه مکتوبش با واقعیت فرق داره.
این یه تشخیص دقیقه. اون ۲۱ مورد اول «بدهی مستندسازی» هستن، ۷ تای بعدی «دانش ضمنی»، و ۴ تای آخر «سیاست سازمانی». و دقیقاً به همین دلیله که خیلی از پروژههای هوش مصنوعی شکست میخورن. همه وقت و انرژی رو میذارن روی مدل، پرامپتها، گاردریلها و ابزارها؛ ولی مشکل اصلی داخل خود سازمانه.
مدلهای هوش مصنوعی دارن قابلتوضیحتر میشن — ردپای استدلال، لایههای ایمنی، ارزیابیها. ولی سازمانها داغونتر از همیشهان. چرا مشتری X اولویت گرفت؟ چرا ایده محصول Y هیچوقت از بودجه رد نشد؟ چرا تأییدیه A رسماً سه هفته طول میکشه ولی در عمل با دو تا تلفن حل میشه؟ جواب این سوالها توی هیچ سندی نیست. فقط یه روایت قانعکننده وجود داره — که با واقعیت یکی نیست.
کریس آرجیریس یه تمایز مهم داره: «تئوری ادعایی» — چیزی که سازمان درباره خودش میگه — در مقابل «تئوری در عمل» — الگویی که واقعاً دنبال میکنه. آدمها میتونن با این شکاف کنار بیان؛ بین خطوط میخونن، میانبرها رو میشناسن، میدونن کی رو باید زنگ بزنن. یه ایجنت نمیتونه. اون فقط روی قوانین، مستندات و اینترفیسهای رسمی کار میکنه. وقتی توضیح رسمی با رفتار واقعی فرق داشته باشه، ایجنت روی یه نسخهای از شرکت کار میکنه که اصلاً وجود نداره.
مشکل اول — اون ۲۱ دانستنی مستندنشده — سادهترین نوعه، ولی باز هم خیلی از شرکتها بهش دروغ میگن. میگن «توی Confluence داریم» یا «یه جایی پلیبوک داریم.» ولی این فقط یعنی سند وجود داره؛ نه اینکه دانش واقعی توشه. منطق واقعی قیمتگذاری، استثناها، میانبرها و تأییدیههای ضمنی — همه اینا توی ذهن آدمهاییه که سالهاست اونجان. انتقال این دانش از ذهن به سند سخته، ولی رازآمیز نیست: مصاحبه، بازسازی تصمیمها، جمعآوری مصنوعات، رفع تناقضات. اگه از این مرحله فرار میکنی، برای سیستمهای ایجنتی جدی آماده نیستی.
مشکل دوم — اون ۷ دانستنی که کسی نمیتونست درست توضیح بده — جالبتره. مایکل پولانی یه جمله معروف داره: «بیشتر از چیزی که میتونیم بگیم، میدونیم.» خریدار باتجربه از دو جمله فرعی میفهمه که تأمینکننده داره بلوف میزنه. سرویسدهنده از یه عبارت میفهمه که مشتری دنبال کمک نیست بلکه داره آماده اسکالیشن میشه. این دانش واقعیه و ارزش اقتصادی داره، ولی نمیشه کاملاً به قانون تبدیلش کرد. وظیفه اینه که تفکیک کنیم چه چیزی رو میشه فرمالیزه کرد، چه چیزی رو باید آموزش داد، و چه چیزی باید قضاوت انسانی بمونه. این نکتهای مهمه برای اطمینان به کارمندان: اونایی که دانش ضمنی دارن، دقیقاً به همین دلیل بیشتر از قبل لازم میشن.
مشکل سوم — اون ۴ مورد آخر — از جنس متفاوتیه. اینجا دیگه موضوع سختی توضیح نیست؛ موضوع اینه که نوشتن صادقانهشون هزینه اجتماعی داره. استراتژی رسمی میگه همه مشتریان بر اساس سودآوری اولویتبندی میشن؛ ولی در واقع دو تا حساب بزرگ بهخاطر رابطه شخصی هیئتمدیره رفتار خاص دارن. رسماً پروژهها با بیزنسکیس ارزیابی میشن؛ ولی در واقع یه پروژه زندهست چون کسی پشتشه که نمیشه بهش «نه» گفت. این استثنای کثیف در یه سازمان وگرنه عقلانی نیست — این سازمان نرماله. مشکل اینه که ایجنت هوش مصنوعی نمیتونه با این واقعیت کار کنه اگه کسی حاضر نباشه بنویسدش.
نتیجه اینه که خیلی از پروژههای هوش مصنوعی به جعبه سیاه اشتباه خیره شدن. مدل جعبه سیاه نیست — خود سازمانه. قبل از اینکه ایجنت طراحی کنی، باید بفهمی شرکت چطور واقعاً تصمیم میگیره؛ نه چطور ادعا میکنه که تصمیم میگیره.
نکات کلیدی:
- مشکل اصلی اکثر پروژههای هوش مصنوعی نه مدل، بلکه شکاف دانشی داخل سازمانه
- سه نوع مشکل وجود داره: دانش مستندنشده، دانش ضمنی غیرقابلفرمالیزه، و دانش سیاسی که کسی نمیخواد بنویسه
- ایجنت هوش مصنوعی روی اسناد و قوانین رسمی کار میکنه — وقتی اینا با واقعیت فرق دارن، ایجنت بیمعنی به نظر میرسه
- تمایز آرجیریس بین «تئوری ادعایی» و «تئوری در عمل» قلب این مشکله
- دانش ضمنی (پولانی) نمیشه کاملاً مستند کرد — باید مشخص کنی چی رو فرمالیزه کنی، چی رو آموزش بدی، چی رو انسانی نگه داری
- آمادهشدن برای ایجنتهای جدی یعنی اول سازمانت رو از جعبه سیاه دربیاری
