چطور Dropbox زیرساختش رو برای عصر هوش مصنوعی بهینه میکنه
هوش مصنوعیخلاصهٔ کاملتر
بخش زیرساخت و دیتاسنتر Dropbox توی یه پست فنی نوشته که رشد تقاضای هوش مصنوعی باعث شده صنعت بیشتر روی ساخت دیتاسنتر و سرور جدید تمرکز کنه، ولی محدودیتهای انرژی، خنککاری، در دسترسبودن سختافزار و فضای فیزیکی باعث میشه گرفتن بیشترین بهره از زیرساخت فعلی هم به همون اندازه مهم باشه. طبق این پست، Dropbox بیش از یه دههست که برنامهریزی ظرفیت، بهینهسازی فلیت، مدیریت چرخهی عمر سختافزار، تامین برق، خنککاری و طراحی رک رو بهجای مسئلههای جدا، بهعنوان یه سیستم واحد میبینه.
یکی از ابزارهای اصلی این تیم Deep Sleepه؛ یه سیستم که بسته به نوع سختافزار، هارددیسکهای بیکار رو میبره روی حالت استندبای یا کل سرورهای بیکار رو خاموش میکنه. یه الگوریتم خودکار مدیریت فلیت تشخیص میده کدوم سرور واجد شرایط Deep Sleepه و چون سرورها میتونن ظرف چند دقیقه دوباره برگردن سرویس، این کار بدون افت قابلیت اطمینان انجام میشه. برای بارهای کاری که به تاخیر کم حساسن، میشه فقط هارددیسکهای بیکار رو خاموش کرد و کل سرور رو روشن نگه داشت.
علاوه بر خاموشکردن ظرفیت بیکار، Dropbox مدام مصرف منابع رو در سراسر فلیتش رصد میکنه تا جاهایی که یه بخش داره به سقف ظرفیتش میرسه در حالی که بخش دیگه ظرفیت آزاد داره رو پیدا کنه. بعضی از این تنظیمها خودکارن و بعضیهاشون رو مهندسها بررسی و تایید میکنن؛ هدف اینه که بهجای اضافهکردن زیرساخت جدید برای یه محدودیت موضعی، از منابع موجود در جاهای دیگه استفاده بشه.
یه راه دیگه برای گرفتن بیشترین بهره از سختافزار، بالابردن تراکم ذخیرهسازیه؛ مثلا با تکنیک shingled magnetic recording (یعنی چیدن دادهها روی هارددیسک به شکل فشردهتر بدون تغییر اندازهی فیزیکی دیسک) هر درایو میتونه دادهی بیشتری نگه داره، یعنی به درایو، رک، کابلکشی و برق و خنککاری کمتری نیاز میشه. طبق این پست، معیار «وات بهازای پتابایت» بهتر از کل مصرف برق نشوندهندهی کارآمدیه و از سال ۲۰۲۰ این عدد برای زیرساخت ذخیرهسازی Dropbox بیش از ۵۰٪ بهتر شده.
Dropbox تصمیمهای عمر سختافزار رو بر اساس دادههای واقعی مثل نرخ خرابی سالانه میگیره، نه برنامهی جایگزینی ثابت؛ سختافزار تا وقتی قابلاطمینانه تعمیر میشه و بعد از خروج از سرویس از طریق پارتنرها فروخته یا بازیافت میشه. یه نمونه: موقع استقرار سرورهای نسل هفتم Dropbox، نیاز برق از ظرفیت رکهای موجود بیشتر شد؛ تیمهای مهندسی سختافزار و دیتاسنتر بهجای بازسازی زیرساخت، تعداد واحدهای توزیع برق (PDU) هر رک رو دو برابر کردن و همچنان از باسویهای موجود استفاده کردن.
نکات کلیدی:
- Deep Sleep سرورها و هارددیسکهای بیکار رو خاموش یا استندبای میکنه و ظرف چند دقیقه دوباره برشون میگردونه به سرویس
- shingled magnetic recording تراکم داده روی هر هارددیسک رو بدون تغییر اندازهی فیزیکی افزایش میده
- از سال ۲۰۲۰، مصرف برق بهازای هر پتابایت ذخیرهسازی Dropbox بیش از ۵۰٪ کاهش پیدا کرده
- برای استقرار سرورهای نسل هفتم، تعداد PDU هر رک دو برابر شد تا نیاز برق بالاتر بدون بازسازی دیتاسنتر پوشش داده بشه
