چرا معماری تراشههای هوش مصنوعی اینقدر متنوع شده؟
هوش مصنوعیخلاصهٔ کاملتر
تو سخنرانی تورینگ ۲۰۱۸، جان هنسی و دیوید پترسون گفتن رشد سالانهی عملکرد تکهستهای CPU از ۵۲ درصد تو دههی ۸۰ به ۳ درصد رسیده و راهحل، معماریهای تخصصی (DSA) مثل TPU گوگله. پیشبینیشون درست از آب دراومد: الان دهها معماری جدی مثل GPU، TPU، LPU، NPU و تراشههای wafer-scale داریم. مشکل اصلی همهشون یکیه: بار محاسباتی هوش مصنوعی از جنس ضرب ماتریسه، ولی سرعت رشد پهنای باند حافظه با رشد قدرت پردازش همقدم نشده - همون چیزی که بهش میگن «دیوار حافظه».
شکل این ضربهای ماتریسی بسته به کاره فرق میکنه. تو آموزش و prefill (مرحلهی خوندن کل ورودی تو inference)، هزاران توکن همزمان از یه لایه رد میشن، پس محاسبات چگاله (GEMM). ولی decode - جایی که مدل یه توکن در هر قدم تولید میکنه - هر بار باید کل وزنهای مدل رو بخونه و شدت محاسباتش چند برابر کمتره (GEMV). ترفندهایی مثل batching پیوسته یا speculative decoding سعی میکنن این افت رو جبران کنن.
مقاله بعدش میره سراغ خود GPU انویدیا: از Volta تا Blackwell، Tensor Coreها - واحدهایی که ضرب-جمع ماتریسی رو انجام میدن - نسل به نسل از حلقهی warp (گروه ۳۲ رشتهای که همزمان اجرا میشن) فاصله گرفتن. تو Volta کل warp باید منتظر میموند تا یه ضرب تموم بشه؛ تو Hopper یه warp-group ۱۲۸ رشتهای دستور رو صادر میکنه و بیمعطلی به کارش ادامه میده؛ تو Blackwell فقط یه رشته دستور رو صادر میکنه و نتیجه تو حافظهی مخصوص TMEM میشینه، نه register file.
همین جدایی باعث میشه warp بتونه همزمان با اجرای ضرب، کارای دیگه مثل softmax رو انجام بده - دقیقاً همون ترفندی که پشت kernelهای FlashAttention هست.
جابهجایی داده هم همین مسیر رو رفته: قبل از Ampere هر رشته خودش باید داده رو از حافظه میخوند، ولی از Hopper به بعد یه موتور اختصاصی به اسم TMA این کارو انجام میده و کل warp آزاده. نویسنده این روند رو به پنج «شرط» انویدیا برمیگردونه: برنامهپذیری با CUDA، پنهون کردن تأخیر با هزاران رشتهی همزمان، بستهبندی واحد ضرب داخل مدل warp، حافظهی هرمی صریح و برنامهپذیر، و پذیرفتن هزینهی سختافزاری SIMT در ازای چگالی بیشتر واحدهای ضرب.
برای مقیاس بزرگتر، دو لایه هست: scale-up که با NVLink و NVSwitch چند GPU رو تو یه فضای حافظهی مشترک به هم وصل میکنه (مثل NVL72 با ۷۲ GPU)، و scale-out که دیتاسنترها رو با RDMA به هم شبکه میکنه. مقاله (که بخش پایانیش هنوز به سراغ TPU، Cerebras و Groq LPU نرسیده) قراره این معماریهای رقیب رو هم با همین عمق بررسی کنه.
نکات کلیدی:
- سخنرانی تورینگ ۲۰۱۸ هنسی و پترسون نقطهی شروع موج معماریهای تخصصی هوش مصنوعی بود
- گلوگاه اصلی «دیوار حافظه»ست: رشد پهنای باند حافظه از رشد قدرت پردازش عقب مونده
- Tensor Coreهای انویدیا از Volta تا Blackwell از قید warp سنکرون آزاد شدن و کارشونو async انجام میدن
- TMA (از Hopper به بعد) جابهجایی داده رو از دوش warp برداشته
- NVL72 هفتاد و دو GPU رو تو یه فضای حافظهی مشترک وصل میکنه؛ مقیاس بزرگتر با RDMA و scale-out انجام میشه
