لایهٔ بازیابی؛ حلقهٔ مفقودهٔ بین داده و خروجی هوش مصنوعی
هوش مصنوعیخلاصهٔ کاملتر
به گفتهٔ نویسنده یه جور خرابی تو هوش مصنوعی سازمانی هست که اصلا خودشو نشون نمیده. تو لایهٔ بالادست همهچی درست انجام شده: لایهٔ معنایی مستند شده، تعریفها حاکمیت دارن، گراف دانش روابط رو وصل کرده. ولی هوش مصنوعی باز جواب اشتباه میده؛ خروجی فصیح و مطمئن و حتی با ارجاع به یه سند واقعی میاد، اما جوری ناقصه که تا یکی روش عمل نکنه کسی نمیفهمه.
نکتهٔ اصلی اینه که مدل کل دادهٔ سازمانو نمیخونه، فقط یه پنجرهٔ کوچیک از تکههای بازیابیشدهٔ اسنادو میبینه. الگوی RAG (تولید تقویتشده با بازیابی) همینه که تعیین میکنه چی تو اون پنجره میشینه. پس بهقول نویسنده «خروجیت محدوده به چیزی که بازیابی برمیگردونه» و دو سیستم با دادهٔ یکسان میتونن جوابهای خیلی متفاوت بدن، چون متغیر اصلی مدل نیست، لایهٔ بازیابیه.
بازیابی سه فازه: اول کوئری شکل میگیره و گاهی بازنویسی و گسترش میشه و بعد به یه نمایش عددی (embedding) تبدیل میشه؛ دوم یه فیلتر دامنه رو محدود میکنه و یه re-ranker نامزدها رو بر اساس کامل بودن جواب مرتب میکنه؛ سوم تکههای برتر تو پنجره چیده میشن و مدل جواب میسازه. نویسنده میگه تصمیم محصولی تو هر سه فاز هست، نه فقط تو مدل آخر.
مثال نویسنده یه تیم انطباق مالیه که میپرسه «مهلت ثبت گزارش SAR چنده؟». سیاست دو بخش پشتسرهم داره: یکی میگه ۲۴ ساعت، اون یکی استثنای ۷۲ ساعته برای تراکنشهای زیر آستانه. تکهبندی با اندازهٔ ثابت ۵۰۰ توکنی مرز رو وسط این دو بخش انداخته، پس بازیابی فقط بخش ۲۴ ساعت رو برگردونده و استثنا اصلا رو نشده.
اینجا سه تصمیم محصولی دخیله. اول استراتژی تکهبندی: تکهبندی آگاه از ساختار (سرفصلمحور با کمی همپوشانی) قانون و استثناشو کنار هم نگه میداره. به گفتهٔ نویسنده یه مطالعهٔ داوریشده تو NAACL نشون داده پیکربندی تکهبندی بهاندازهٔ یا بیشتر از انتخاب مدل embedding روی کیفیت بازیابی اثر داره.
تصمیم دوم تطابق کوئری-سند هست: یه سوال و جملهٔ خبریای که جوابشه تو فضای برداری نزدیک هم نمیشینن، چون مدل برای تشخیص شباهت بین متنهای شبیههم آموزش دیده نه بین سوال و جوابش. راهحلها مدلهای embedding نامتقارن (آموزشدیده روی جفت سوال-سند)، گسترش کوئری، و HyDE (ساختن یه جواب فرضی و embed کردن اونه). تصمیم سوم هم re-ranking دومرحلهایه که کامل بودن جوابو میسنجه نه فقط شباهتو.
نویسنده میگه نسخهٔ سختتر وقتیه که قانون و استثنا تو دو سند جدا باشن (مثلا سیاست داخلی در برابر راهنمای نظارتی OCC). اینجا به بازیابی چندجهشی (multi-hop) با لایهٔ مسیریابی و طبقهبندی کوئری نیاز هست تا مدل هر دو سندو همزمان ببینه. در ضمن به نقل از پژوهش استنفورد روی ابزارهای حقوقی RAG، نزدیک یکپنجم کوئریها خروجی گمراهکننده داشتن و تو ۴۷٪ خطاها بازیابیِ سادهانگارانه عامل بوده؛ برای همین بازیابی به مانیتورینگ مستقل از کیفیت مدل نیاز داره.
نکات کلیدی:
- مدل فقط یه پنجرهٔ کوچیک از تکههای بازیابیشده رو میخونه، نه کل دادهٔ سازمانو
- بازیابی سه فازه: شکلدهی کوئری، یافتن و فیلتر، چیدن و پاسخ؛ تو هر فاز تصمیم محصولی هست
- تکهبندی با اندازهٔ ثابت میتونه قانون رو از استثناش جدا کنه و جواب ناقص بسازه
- عدمتقارن کوئری-سند با مدل embedding نامتقارن، گسترش کوئری یا HyDE حل میشه
- سوالهای مهم معمولا بازیابی چندجهشی روی چند سند میخوان، نه یه عبور ساده
- پژوهش استنفورد: حدود ۲۰٪ کوئریها خروجی گمراهکننده و ۴۷٪ خطاها ریشه تو بازیابی داشتن
