‏تنسنت مدل متن‌باز Hy3 رو منتشر کرد

تنسنت مدل جدیدش به اسم Hy3 رو با لایسنس آزاد Apache 2.0 منتشر کرده. این مدل یه معماری Mixture-of-Experts (MoE) داره؛ یعنی به جای اینکه کل شبکه واسه هر درخواست فعال شه، فقط بخشی از پارامترها کار می‌کنن. کل مدل ۲۹۵ میلیارد پارامتر داره ولی توی هر مرحله فقط ۲۱ میلیارد پارامترش فعاله، که باعث می‌شه هم بزرگ باشه هم نسبتاً بهینه اجرا شه.

به گفتهٔ تیم تنسنت، این نسخه بعد از عرضهٔ نسخهٔ Preview توی اواخر آوریل و جمع‌آوری بازخورد از بیش از ۵۰ محصول ساخته شده و با داده‌های باکیفیت‌تر آموزش دیده. تنسنت ادعا می‌کنه Hy3 از مدل‌های هم‌اندازهٔ خودش بهتر عمل می‌کنه و حتی با مدل‌های متن‌بازِ پرچم‌دار که ۲ تا ۵ برابر پارامتر دارن رقابت می‌کنه.

از نظر مشخصات فنی، طول کانتکست مدل ۲۵۶ هزار توکنه. نسخهٔ کامل روی Hugging Face حدود ۵۹۸ گیگابایت حجم داره و نسخهٔ کوانتایزشدهٔ FP8 هم حدود ۳۰۰ گیگابایته—یعنی حتی نسخهٔ فشرده‌ش هم سخت‌افزار سنگینی می‌خواد.

سایمون ویلیسون که این خبرو نوشته، می‌گه مدل تا ۲۱ جولای به صورت رایگان روی OpenRouter در دسترسه و خودش باهاش تست معروفش یعنی «کشیدن یه SVG از یه پلیکان سوار دوچرخه» رو امتحان کرده.

نکات کلیدی:

• Hy3 یه مدل MoE با ۲۹۵ میلیارد پارامتر کل و ۲۱ میلیارد پارامتر فعال در هر مرحله‌ست
• لایسنسش Apache 2.0 و طول کانتکستش ۲۵۶ هزار توکنه
• نسخهٔ کامل ۵۹۸ گیگابایت و نسخهٔ FP8 حدود ۳۰۰ گیگابایته
• تا ۲۱ جولای رایگان روی OpenRouter قابل تسته