‏Cactus Needle؛ مدلی که فقط یک کار بلده

Cactus Needle یه مدل زبانی اپن‌ویت با ۲۶ میلیون پارامتره که بخشی از پروژهٔ Cactus حساب می‌شه؛ پروژه‌ای با تمرکز روی مدل‌های خیلی کوچک برای محیط‌های محدود. برای اینکه مقیاس دستت بیاد: GPT-4 حدود ۱.۸ تریلیون پارامتر تخمین زده می‌شه، Llama 3.1 8B هشت میلیارد و Phi-3 Mini سه‌ونیم میلیارد پارامتر داره. نویسنده می‌گه این اختلاف خطای گرد کردن نیست — دقیقاً نکتهٔ اصلیه.

کار مدل یه چیز بیشتر نیست: پرامپت کاربر به‌علاوهٔ فهرست تعریف توابع رو می‌گیره و یه فراخوانی ساختاریافته به تابع درست، با آرگومان‌های درست، برمی‌گردونه:

{
  "name": "get_weather",
  "arguments": {
    "location": "Berlin",
    "unit": "celsius"
  }
}

به گفتهٔ نویسنده، function calling ظاهر ساده‌ای داره ولی مدل‌ها به پنج شکل مشخص توش شکست می‌خورن: انتخاب تابع اشتباه، نوع نادرست آرگومان، ساختن پارامترهایی که تو شما وجود ندارن، تولید JSON خراب، و فراخوانی چند تابع وقتی یکی کافی بوده. این‌ها مسئلهٔ هوش عمومی نیستن، مسئلهٔ پایبندی به شما و تولید خروجی ساختاریافته‌ان — و همین توضیح می‌ده چرا یه مدل که فقط میلیون‌ها نمونهٔ فراخوانی تابع دیده، می‌تونه از مدل‌های عمومی خیلی بزرگ‌تر جلو بزنه.

معماری، ترنسفورمر استاندارد ولی به‌شدت فشرده‌ست: به‌جای ۳۲ لایهٔ مدلی مثل Llama 3.1 8B، معمولاً ۶ تا ۱۲ لایه، ابعاد پنهان کوچک‌تر و سرهای توجه کمتر. چیزی که قربانی می‌شه، تقریباً کل درک زبانی عمومیه — این مدل نه مقاله می‌نویسه نه به سؤال عمومی جواب می‌ده. چیزی که نگه می‌داره، تشخیص intent، استخراج موجودیت از پرس‌وجو و نگاشتش به پارامتر درسته.

نتیجهٔ عملی این فشردگی، اجرای روی CPU بدون نیاز به GPUه، اون هم در حد میلی‌ثانیه. فایل مدل در قالب کوانتایزشدهٔ GGUF معمولاً زیر ۱۰۰ مگابایت درمیاد، یعنی می‌شه مستقیم داخل اپلیکیشن جاسازیش کرد، روی edge دیپلویش کرد یا موقع تست روی لپ‌تاپ اجراش کرد.

چون مدل اپن‌ویته، فاین‌تیون روی شمای اختصاصی خودت هم شدنیه و به گفتهٔ نویسنده یکی از قوی‌ترین دلایل استفاده ازشه: یه ماشین با حداقل ۸ گیگابایت RAM، یه دیتاست از جفت‌های «پرس‌وجو و شما به فراخوانی درست» و یه کتابخانهٔ استاندارد مثل Hugging Face Transformers یا Unsloth کافیه. آموزش روی چند هزار نمونه چند دقیقه تا چند ساعت طول می‌کشه، نه چند روز.

کاربردهایی که مقاله برمی‌شمره اینان: لایهٔ مسیریابی ابزار در سیستم‌های agentic (مدل بزرگ فکر می‌کنه، مدل کوچک dispatch می‌کنه)، دستیارهای صوتی و دستگاه‌های IoT، مسیریابی درخواست در گیت‌وی‌های پرترافیک، افزونه‌های ادیتور کد بدون فرستادن کانتکست به بیرون، و محیط‌های آفلاین یا ایزولهٔ صنایع تنظیم‌شده. در مقابل، برای پرس‌وجوی مبهم، زنجیرهٔ چندتابعی و شمای غیرمعمول، مدل‌های بزرگ‌تر بهترن.

نکات کلیدی:

• ۲۶ میلیون پارامتر، فقط و فقط برای فراخوانی تابع
• اجرا روی CPU، تأخیر میلی‌ثانیه‌ای و فایل کوانتایزشدهٔ زیر ۱۰۰ مگابایت
• توان استدلال عمومی رو با دقت تخصصی و کارایی منابع معاوضه کرده
• فاین‌تیون روی شمای اختصاصی، سریع و روی سخت‌افزار معمولی شدنیه
• بهترین جایگاهش لایهٔ مسیریابی در معماری ترکیبیه، نه مدل مستقل