‏Manifest: روتر هوشمند مدل برای کم کردن هزینهٔ AI

نویسنده تو این مقاله Manifest رو معرفی می‌کنه؛ یه «روتر هوشمند مدل» (smart model router) برای ایجنت‌ها و اپلیکیشن‌های هوش مصنوعی. ایدهٔ اصلیش اینه که به جای این‌که همهٔ درخواست‌ها رو به یه مدل گرون بفرستی، هر کوئری رو به مدل مناسب خودش هدایت می‌کنه و به این ترتیب — طبق ادعای پروژه — تا ۷۰٪ از هزینهٔ AI رو کم می‌کنه.

منطق مسیریابی بر اساس چند فاکتور کار می‌کنه: پیچیدگی کوئری، تخصصی‌بودنش و هدرهای HTTP سفارشی. یعنی یه سؤال ساده می‌تونه به یه مدل کوچیک و ارزون بره و یه سؤال پیچیده به یه مدل قوی‌تر. علاوه بر این، Manifest قابلیت fallback داره؛ یعنی اگه یه کوئری روی یه مدل شکست بخوره، روی یه مدل دیگه دوباره امتحانش می‌کنه.

یکی از نکات قوتش انعطاف تو انتخاب ارائه‌دهنده‌ست. می‌تونی منابع مختلف رو با هم ترکیب کنی: API key، اشتراک‌های پولی‌ای که از قبل داری، مدل‌های لوکال یا حتی ارائه‌دهنده‌های سفارشی. به گفتهٔ مقاله، این ابزار به ۳۰۰+ مدل از ۱۷ ارائه‌دهنده وصل می‌شه — از OpenAI و Anthropic و Google گرفته تا مدل‌های لوکالی که با Ollama یا LM Studio اجرا می‌شن — و همه از طریق یه اندپوینت واحد /auto مسیریابی می‌شن. هر ارائه‌دهندهٔ سازگار با OpenAI یا Anthropic رو هم می‌شه به صورت کاستوم اضافه کرد.

بخش مدیریت هزینه هم بخش مهمیه: Manifest بهت اجازه می‌ده تک‌تک دلارهای خرج‌شده رو ردگیری کنی، نوتیفیکیشن تنظیم کنی و سقف هزینه (limit) بذاری. این برای تیم‌هایی که می‌خوان جلوی هزینه‌های غیرمنتظرهٔ AI رو بگیرن کاربردیه.

از نظر استقرار، Manifest هم نسخهٔ ابری (cloud) داره و هم نسخهٔ self-hosted که به صورت یه Docker image با یه دستور نصب می‌شه؛ اولین اکانتی که می‌سازی هم ادمین می‌شه. نویسنده اشاره می‌کنه که پکیج قدیمی manifest روی npm دیگه منسوخ شده و منتشر نمی‌شه. پروژه فعلاً تو وضعیت beta هست و با لایسنس MIT منتشر شده.

نکات کلیدی:

• یه روتر هوشمند مدل که هر کوئری رو به مدل مناسبش می‌فرسته
• ادعای کاهش تا ۷۰٪ هزینهٔ AI با مسیریابی بر اساس پیچیدگی و تخصص کوئری
• اتصال به ۳۰۰+ مدل از ۱۷ ارائه‌دهنده، همه از یه اندپوینت /auto
• ترکیب API key، اشتراک پولی و مدل لوکال؛ به‌علاوهٔ fallback موقع شکست
• ردگیری هزینه، تنظیم سقف و نوتیفیکیشن؛ نسخهٔ self-hosted با Docker