جبر سیاست: راهی برای عاملهای AI که بشه بهشون اعتماد کرد
هوش مصنوعیخلاصهٔ کاملتر
یه مقالهٔ تازه تو arXiv میگه چارچوبهای عاملمحورِ مبتنی بر LLM تا حالا فقط سراغ «توانایی» رفتن: اینکه عامل بتونه استدلال کنه، اطلاعات پیدا کنه، ابزار صدا بزنه، کار رو به عامل دیگه بسپره و به هدف برسه. به گفتهٔ نویسندهها تو محیط سازمانی این کافی نیست؛ نتیجهای که از راه دسترسی غیرمجاز به داده، اختیارِ واگذارشدهٔ بازتر از حد، اثر جانبی تأییدنشده یا خرج غیرقابلبرگشت به دست اومده باشه، اصلاً قابلاتکا نیست.
پیشنهادشون اینه که «قابلیتِ قابلاتکا» رو یه ویژگی مسیر یا path property تعریف کنن، یعنی چیزی که به کل راه طیشده مربوطه نه فقط به خروجی آخر. عامل وقتی واقعاً قابلاتکاست که تکتک رویدادهای کنشش زیر قیدهای هویت، پروفایل، ابزار، داده، حافظه، بودجه، artifact، تأیید و ممیزی مجاز مونده باشه. برای همین یه «جبر سیاست» (policy algebra) تعریف میکنن که پاکتِ مجازِ اجرای عامل رو مشخص میکنه.
تو این جبر، پروفایلهای امنیتی و تعهدهای زمان اجرا با عملگرهایی مثل اجتماع، اشتراک، تنگکردن بودجه، ارثبریِ تأییدها و انباشت شواهد با هم ترکیب میشن. نویسندهها ادعا میکنن ترکیب حاصل هم اعتماد رو حفظ میکنه و هم کمسختگیرانهترین حالتیه که همهٔ ورودیها رو راضی نگه میداره. محدودیتها بین فراخوانیهای چندعاملی هم منتقل میشن، پس عاملی که کار رو تحویل میگیره اختیار بازتری از تحویلدهنده پیدا نمیکنه.
یه تکهٔ جالب دیگهش cost-aware artifact materialization هست: هرچی خرج اجرا بالاتر میره، رانتایم اجرای بیپایان رو به سمت یه خروجی قابلبازیابی هدایت میکنه، بهجای اینکه بودجه بسوزه و آخرش هیچی گیر آدم نیاد.
ارزیابی هم بهعنوان یه معاملهٔ بین اتکاپذیری و توانایی تفسیر شده، نه بنچمارک توانایی. رانتایمِ مبتنی بر این جبر روی ۹۴.۸٪ رویدادهای ناقض سیاست مداخله کرده و در عین حال ۸۶.۹٪ کارها همچنان تکمیل شدن. تخلفهای مشاهدهشدهٔ profile-monotonicity و zero-artifact-exhaustion کامل حذف شدن و کاملبودن ممیزی به ۹۸.۶٪ رسیده.
نکات کلیدی:
- عامل وقتی «قابلاتکا» حساب میشه که کل مسیر رسیدنش به نتیجه زیر قیدهای هویت، ابزار، داده، بودجه، تأیید و ممیزی مجاز مونده باشه.
- رانتایم روی ۹۴.۸٪ رویدادهای ناقض سیاست مداخله میکنه و نرخ تکمیل کار ۸۶.۹٪ باقی میمونه.
- کاملبودن ممیزی یا audit completeness به ۹۸.۶٪ رسیده.
- سازوکار cost-aware artifact materialization اجرای پرخرج رو به یه خروجی قابلبازیابی میرسونه.
- مقاله با شناسهٔ arXiv:2608.16402 و لایسنس CC BY 4.0 منتشر شده.
