تنها خندق واقعی آزمایشگاههای هوش مصنوعی: داده
هوش مصنوعیClaude Opus 4.8خلاصهٔ کاملتر
نویسندهٔ MBI Deep Dives بحثش رو با یه آزمایش فکری شروع میکنه: فرض کن هیچی از وضعیت مالی OpenAI و Anthropic نمیدونی، و فرض کن همهٔ آزمایشگاههای فرانتیر هم به توان محاسباتی، داده و استعداد مشابه دسترسی دارن. حالا از پشت این پردهٔ بیخبری، از کجا میفهمی کدومشون تو سهچهار سال آینده یه خندق واقعی داره؟
به گفتهٔ او این سؤال چند سال پیش خیلی سختتر بود — ارزشگذاری ۱۵ میلیارد دلاری Anthropic تو دسامبر ۲۰۲۳ نشون میده شرطبستن روی یه شرکت مدلساز چقدر خلاف جریان بوده. ولی حتی امروز هم مسخرهست فکر کنیم OpenAI یا Anthropic تو سهچهار سال آینده توان محاسباتی بیشتری از Alphabet یا Meta داشته باشن. استعداد هم تو این صنعت خیلی جابهجا میشه، پس نمیشه رو اون حساب کرد. فرهنگ سازمانی هم به نظر نویسنده معمولاً وقتی بهعنوان خندق مطرح میشه که آدم نتونه منبع واقعی مزیت رو نشون بده.
میمونه داده. نویسنده میگه بخش بزرگی از موفقیت Anthropic از شرط متمرکزش روی بهترین کاربرد این مدلها یعنی کدنویسی اومده، و همون تمرکز باعث دسترسی به دادهٔ واقعی کاربرها شده که خودش مدل رو بهتر میکنه. ولی هشدار میده که این چرخه هنوز یه سالش هم نشده و رقبا وقت دارن جواب بدن؛ Codex داره جا باز میکنه و یه استدلال مطرح میگه xAI با خرید Cursor به دیتاست کدنویسی بزرگتری از Codex رسیده.
برای پشتیبانی از این ادعا، به یادداشت ۲۰۲۳ جیمز بتکر از OpenAI اشاره میکنه با عنوان «آن چیزِ مدلهای هوش مصنوعی، همون دیتاسته». حرف بتکر اینه که بعد از آموزش مدلهای زیاد به این نتیجه رسیده که مدلها با دقت عجیبی دارن دیتاستشون رو تقریب میزنن، و هر مدلی با وزن و زمان کافی روی یه دیتاست یکسان به همون نقطه همگرا میشه — یعنی رفتار مدل رو معماری و هایپرپارامتر تعیین نمیکنه، دیتاست تعیین میکنه.
نویسنده بعد به یادداشت تازهتر ویل دپیو با عنوان «یه استارگیت برای داده» میره. استدلال اونجا اینه که سالها تو رژیم «محدودیت محاسبات» بودیم — اینترنت عملاً دادهٔ بینهایت داشت و GPU کم بود — ولی حالا داریم وارد رژیم «محدودیت داده» میشیم.
پیامد مالیش هم مشخصه: فقط کسری از دادهٔ مفید دنیا روی اینترنت عمومیه و بقیهش تو آرشیوهای خصوصی، شرکتها، دانشگاهها و دولتهاست. آزمایشگاهها یا لایسنسش رو میخرن یا از صفر میسازنش، و بخش بزرگی از تسکهای سخت آموزش تقویتی همین حالا هم دستی تولید میشه. به تخمین دپیو، کل خرج دادهٔ صنعت الان حدود ۷ میلیارد دلار در ساله و بعید نیست تا ۲۰۳۰ بیش از ده برابر بشه.
یه استدلال سوم هم از جک موریس نقل میشه: «ایدهٔ جدیدی تو هوش مصنوعی نیست، فقط دیتاست جدید». به روایت او هر چهار جهش بزرگ — AlexNet، ترنسفورمرها، RLHF و مدلهای استدلالی — در واقع قفل یه منبع دادهٔ تازه رو باز کردن؛ و منبع بعدی احتمالاً ویدیوئه، جایی که هر دقیقه حدود ۵۰۰ ساعت محتوا روی یوتیوب آپلود میشه و صاحبش گوگله.
جمعبندی نویسنده اینه که با این عینک، سرمایهگذاری متا روی ۴۹ درصد Scale AI منطقیتر به نظر میرسه و شاید بهتر بود کل شرکت رو میخرید. حرف آخرش تصویریه: اگه آزمایشگاهی نتونه قرارداد دادهٔ اختصاصی ببنده، همهٔ توان محاسباتی دنیا فقط یه تقریب ریاضی بینقص از یه دیتاست کالایی تحویلش میده. مزیت ساختاری داره از صاحبهای کلنگ و بیل به سمت صاحبهای زمینی میره که طلا زیرش دفنه.
نکات کلیدی:
- توان محاسباتی و استعداد بهسرعت دارن کالایی میشن؛ داده نه
- ادعای بتکر: رفتار مدل رو دیتاست تعیین میکنه، نه معماری و هایپرپارامتر
- گذار از رژیم «محدودیت محاسبات» به رژیم «محدودیت داده»
- خرج سالانهٔ دادهٔ صنعت حدود ۷ میلیارد دلاره، با احتمال دهبرابر شدن تا ۲۰۳۰
- چرخهٔ دادهٔ کدنویسی هنوز جوونه و رقبا فرصت جبران دارن
- منبع دادهٔ بعدی احتمالاً ویدیوئه — و یوتیوب دست گوگله
