‏DeepSeek V4 Flash روی یه RTX 3090؛ ترفند رمِ زیاد

DeepSeek V4 Flash یه مدل mixture-of-experts (MoE) ـه؛ یعنی برخلاف مدل‌های dense که هر بار همه‌ی پارامترهاشون فعال می‌شه، اینجا فقط یه زیرمجموعه‌ی کوچیک از «اکسپرت»ها برای هر توکن روشن می‌شن. همین باعث می‌شه بشه بیشتر وزن‌های مدل رو روی رم سیستم نگه داشت و فقط بخش فعالش رو روی GPU آورد؛ برای همین این‌جور مدل‌ها با یه کارت گرافیک مصرفی مثل RTX 3090 یا 4090 هم قابل اجرا می‌شن.

تو تست FreeToken، وقتی مدل از طریق Open WebUI (یه بک‌اند شبیه llama.cpp) صدا زده شده، سرعت تولید حدود ۱۰ تا ۱۱ توکن در ثانیه بوده؛ اما وقتی مستقیم از اپ دسکتاپ خودِ FreeToken اجرا شده، این عدد به حدود ۸.۸ توکن در ثانیه افت کرده که نشون می‌ده اپ دسکتاپ یه سربار اضافه داره. این سرعت اصلاً برای کارای بلادرنگ یا ایجنتی مناسب نیست، ولی برای چت معمولی قابل قبوله.

بخشی که معمولاً تو ادعاهای «با یه GPU اجراش کن» جا می‌مونه، حجم رمِ لازمه. ۱۲۸ گیگ رم برای این مدل کافی نبوده و با ۱۹۲ گیگ درست کار کرده؛ رقم واقعی‌تر برای اکثر کاربرا چیزی حدود ۱۵۶ تا ۱۶۸ گیگه. سرعت رم هم مهمه: تو این تست از DDR4 با سرعت ۲۴۰۰ مگاترانسفر در ثانیه استفاده شده که از رم‌های فعلی کندتره، و انتظار می‌ره DDR5 سرعت رو تقریباً دو برابر کنه.

این ترفند فقط برای مدل‌های MoE جواب می‌ده؛ مدل dense مثل Qwen 3.8 27B با دقت BF16 اصلاً تو نسخه‌ی بتای اپ FreeToken بالا نیومد و یه خطای کلی داد. FreeToken هنوز بتاست: گزارش سرعت بین رابط دسکتاپ و نمای سروری‌ش یکی نبود و همه‌ی مدل‌ها هم درست لود نمی‌شن؛ با این‌حال برای کسی که یه 3090 یا 4090 و رم زیاد داره، یکی از راحت‌ترین راه‌های اجرای مدل‌های MoE بزرگ بدون درگیر شدن با تنظیمات دستی llama.cpp‌ـه.

نکات کلیدی:

• DeepSeek V4 Flash یه مدل MoE‌ـه که با یه RTX 3090/4090 و رم زیاد قابل اجراست
• سرعت: حدود ۱۰-۱۱ توکن/ثانیه از طریق Open WebUI، حدود ۸.۸ از اپ دسکتاپ FreeToken
• ۱۲۸ گیگ رم کافی نبود؛ ۱۹۲ گیگ کار کرد؛ کف عملی حدود ۱۵۶-۱۶۸ گیگه
• رم DDR4 2400MT/s کندـه؛ DDR5 می‌تونه سرعت رو تقریباً دو برابر کنه
• مدل dense مثل Qwen 3.8 27B (BF16) تو FreeToken اصلاً بالا نیومد
• مدل‌های MoE بزرگ‌تر مثل GLM 5.2 ممکنه بیش از ۲۰۰ گیگ رمِ اضافه بخوان