‏بهینه‌سازی پیشرفته پرامپت در Amazon Bedrock

آمازون یک ابزار تازه به نام Amazon Bedrock Advanced Prompt Optimization معرفی کرده که کمک می‌کنه پرامپت‌هات رو برای هر مدلی روی Bedrock بهینه کنی. اگه می‌خوای به یه مدل جدید مهاجرت کنی یا فقط عملکرد مدل فعلیت رو بهتر کنی، این ابزار می‌تونه همزمان تا ۵ مدل رو با هم مقایسه کنه و بهترین نسخه‌ی پرامپت رو پیدا کنه.

نحوه کار به این شکله: تو قالب پرامپت (prompt template)، نمونه ورودی‌های کاربر، پاسخ‌های مرجع (ground truth)، و یه معیار ارزیابی رو می‌دی. ابزار در یه حلقه‌ی بازخورد خودکار، پرامپت رو بازنویسی می‌کنه و نتیجه رو با امتیاز ارزیابی، تخمین هزینه، و تأخیر (latency) بهت نشون می‌ده. پشتیبانی از ورودی‌های چندرسانه‌ای مثل png، jpg و pdf هم وجود داره، پس می‌شه پرامپت‌های تحلیل تصویر و سند رو هم بهینه کرد.

فایل ورودی باید در فرمت JSONL باشه. هر شیء JSON روی یه خط مجزا قرار می‌گیره و شامل قالب پرامپت، نمونه‌های ارزیابی، و تنظیمات اختیاری مثل معیار ارزیابی سفارشی می‌شه:

{
    "version": "bedrock-2026-05-14",
    "templateId": "string",
    "promptTemplate": "string",
    "steeringCriteria": ["string"],
    "customLLMJConfig": {
        "customLLMJPrompt": "string",
        "customLLMJModelId": "string"
    },
    "evaluationSamples": [
        {
            "inputVariables": [{"variableName1": "string"}],
            "referenceResponse": "string"
        }
    ]
}

برای ارزیابی کیفیت پرامپت، سه روش مختلف داری. اول Lambda function: اگه معیار دقیقی داری (مثل accuracy یا F1)، می‌تونی منطق امتیازدهی خودت رو در یه تابع AWS Lambda پیاده‌سازی کنی. دوم LLM-as-a-Judge: برای کارهای باز مثل خلاصه‌نویسی یا تولید متن، یه مدل قضاوت‌گر (به‌طور پیش‌فرض Claude Sonnet 4.6) پاسخ‌ها رو با یه rubric سفارشی ارزیابی می‌کنه. سوم Steering criteria: اگه فقط می‌دونی چه ویژگی‌هایی می‌خوای (لحن برند، فرمت، محدودیت‌های ایمنی)، می‌تونی اونا رو به‌صورت متن آزاد تعریف کنی تا مدل قضاوت‌گر از اونا استفاده کنه.

این سرویس همین الان در مناطق مختلف AWS از جمله آمریکا، اروپا، آسیا-پاسیفیک و آمریکای جنوبی در دسترسه. هزینه‌اش هم بر اساس توکن‌های مصرفی در طول بهینه‌سازی محاسبه می‌شه، دقیقاً مثل هزینه‌ی عادی inference در Bedrock.

نکات کلیدی:

• بهینه‌سازی خودکار پرامپت در یک حلقه‌ی بازخورد مبتنی بر معیار ارزیابی
• مقایسه‌ی همزمان تا ۵ مدل مختلف در یک job
• پشتیبانی از ورودی‌های چندرسانه‌ای (تصویر و PDF)
• سه روش ارزیابی: Lambda، LLM-as-a-Judge، و Steering criteria
• قابل استفاده از طریق کنسول Bedrock یا API با نام CreateAdvancedPromptOptimizationJob