‏ابزار ساده‌ای برای مقایسه مدل‌های Ollama

Ollama Model Tester یه ابزار خط فرمان (CLI) کوچیکه که هدفش ساده‌ست: همون یه پرامپت رو روی مدل‌های لوکال Ollama اجرا کنی و همه جواب‌ها رو روی دیسک ذخیره کنی تا بشه راحت مقایسه‌شون کرد. این مقایسه می‌تونه بین چند مدل مختلف باشه یا بین چند بار اجرای یه مدل واحد.

نکته جالبش اینه که هیچ وابستگی خارجی نداره و فقط از کتابخونه استاندارد پایتون استفاده می‌کنه، پس نیازی به pip install نیست. فقط کافیه پایتون ۳.۷ به بالا داشته باشی، Ollama به صورت لوکال روی آدرس پیش‌فرض در حال اجرا باشه و حداقل یه مدل pull کرده باشی.

به گفته نویسنده، اگه ابزارو بدون آرگومان اجرا کنی، به ترتیب ازت می‌پرسه: کدوم مدل، خودِ پرامپت (که با گذاشتن /done تو یه خط جدا تمومش می‌کنی)، چند بار اجرا بشه، دما (temperature) بین 0.0 تا 2.0 و اینکه جواب‌ها به صورت زنده تو ترمینال stream بشن یا نه.

همون مقادیر رو می‌تونی از قبل با فلگ هم بدی تا کار اسکریپتی بشه؛ هرچی رو ندی باز هم به صورت تعاملی پرسیده می‌شه. مثلاً اجرای یه پرامپت ذخیره‌شده سه بار و کاملاً غیرتعاملی این‌شکلیه:

python3 ollama_model_test.py \
  --model llama3.1:8b \
  --prompt-file prompt.txt \
  --runs 3 \
  --temperature 0.7 \
  --no-stream

خروجی‌ها زیر پوشه ollama-runs/ ذخیره می‌شن و برای هر پرامپت یه پوشه جدا ساخته می‌شه که اسمش از چند کلمه اول پرامپت به اضافه یه هش کوتاه از کل پرامپت درست می‌شه. چون پوشه بر اساس خود پرامپت کلید می‌خوره، اگه همون پرامپت رو روی یه مدل دیگه اجرا کنی، خروجیش تو همون پوشه می‌افته و همین مقایسه مدل به مدل رو راحت می‌کنه.

تو هر پوشه فایل‌هایی مثل prompt.md (خود پرامپت با هش و زمان)، metadata.json (مشخصات همه اجراها) و یه فایل جدا برای هر مدل هست که جواب هر اجرا رو کنار متادیتای خود Ollama مثل تعداد توکن و زمان‌بندی نگه می‌داره.

نکات کلیدی:

• یه CLI سبک برای اجرای یه پرامپت روی چند مدل لوکال Ollama و ذخیره همه خروجی‌ها
• فقط با کتابخونه استاندارد پایتون نوشته شده، بدون نیاز به نصب پکیج
• هم تعاملی کار می‌کنه هم با فلگ برای اجرای اسکریپتی و غیرتعاملی
• خروجی‌ها بر اساس خود پرامپت گروه‌بندی می‌شن تا مقایسه مدل‌ها راحت بشه