OlmoEarth v1.1: مدلهای ماهوارهای سریعتر و ارزانتر
هوش مصنوعیخلاصهٔ کاملتر
تیم AllenAI خانواده مدلهای OlmoEarth v1.1 رو معرفی کرده؛ نسخهای بهینهتر از مدلهای پردازش remote sensing (تصویربرداری ماهوارهای) که هزینه محاسباتی رو تا ۳ برابر کاهش میده و در عین حال عملکردش روی بنچمارکهای استاندارد قابل مقایسه با نسخه قبلیه.
از زمان انتشار OlmoEarth v1 در نوامبر ۲۰۲۵، شرکا از این مدل برای کارهایی مثل ردیابی تغییرات جنگلهای مانگرو، طبقهبندی دلایل از بین رفتن جنگلها، و تولید نقشههای کشاورزی در سطح کشوری استفاده کردن. وقتی یه مدل باید دهها تا صدها هزار کیلومترمربع تصویر ماهوارهای رو پردازش کنه، کارایی مستقیماً روی هزینه و مقیاسپذیری تأثیر میذاره.
OlmoEarth یه مدل مبتنی بر معماری ترنسفورمر (transformer) هست که دادههای ماهوارهای رو به شکل دنبالهای از توکن پردازش میکنه. هزینه محاسباتی ترنسفورمرها با مجذور طول دنباله رشد میکنه — یعنی اگه بشه توکنها رو نصف کرد، هزینه به یه چهارم کاهش پیدا میکنه. این همون اهرم اصلیه که v1.1 ازش استفاده کرده.
مسئله کلیدی اینه که هر توکن باید نماینده چه چیزی باشه. تصاویر Sentinel-2 (یکی از رایجترین منابع داده ماهوارهای) در سه رزولوشن مکانی مختلف ارائه میشن: ۱۰، ۲۰، و ۶۰ متر. در نسخه قبلی، به ازای هر پچ تصویری و هر رزولوشن یه توکن جداگانه ساخته میشد — یعنی برای هر پچ با ۲ تایماستپ، ۶ توکن تولید میشد. در v1.1، این سه رزولوشن در یه توکن واحد ادغام شدن که به یک سوم توکن منجر میشه.
ترکیب ساده و بدون تغییر توکنها ولی مشکل داشت — مثلاً ۱۰ واحد افت عملکرد روی بنچمارک m-eurosat kNN دیده شد. فرضیه تیم اینه که جداسازی باندهای Sentinel-2 به مدل کمک میکنه روابط بین باندهای مختلف رو بهتر یاد بگیره. برای حل این مشکل، تیم روش پیشآموزش (pretraining) مدل رو اصلاح کرد که جزئیاتش در گزارش فنی این مدل توضیح داده شده.
نتیجه نهایی خانوادهای از مدلهاست — در اندازههای Base، Tiny و Nano — که هر کدوم تا ۳ برابر ارزانتر از معادلشون در v1 اجرا میشن. برای محققان هم این مدل جالبه چون روی همون دیتاست نسخه قبلی آموزش دیده، پس هر تفاوت عملکردی رو میشه مستقیماً به تغییرات معماری و روش آموزش نسبت داد نه به داده.
نکات کلیدی:
- هزینه محاسباتی تا ۳ برابر کاهش یافته با حفظ عملکرد کلی
- ادغام توکنهای سه رزولوشن Sentinel-2 در یک توکن واحد، اصلیترین بهینهسازیه
- هزینه ترنسفورمر با مجذور طول دنباله توکن رشد میکنه، پس کاهش توکن اثر بزرگی داره
- آموزش روی همان دیتاست v1 انجام شده تا مقایسه علمی دقیقتری ممکن بشه
- وزنهای مدل و کد آموزش به صورت متنباز در دسترسه
