‏Thomson؛ مدل هوش مصنوعی اختصاصی تامسون رویترز برای حقوق

شرکت تامسون رویترز، غول اطلاعات و انتشارات حقوقی، مدل زبانی اختصاصی خودش به اسم Thomson رو معرفی کرده؛ اولین باریه که این شرکت یه LLM اختصاصی می‌سازه. این مدل قراره دانش حقوقی گسترده‌ای که رویترز طی بیش از ۱۵۰ ساله جمع کرده رو با مدل‌های زبانی بیرونی ترکیب کنه تا مشاوره حقوقی بده.

اولین جایی که Thomson به کار می‌ره Tabular Analysis ـه، یه قابلیت تو دستیار هوش مصنوعی CoCounsel Legal که برای بررسی حجم بالای اسناد استفاده می‌شه. CoCounsel همچنان چندمدلی می‌مونه؛ یعنی برای کارهایی که تخصص حقوقی رویترز مزیت داره از Thomson استفاده می‌کنه و برای بقیه کارها سراغ مدل‌های فرانتیر بیرونی می‌ره. Thomson مدل پیش‌فرض Tabular Analysis می‌شه ولی ادمین‌ها می‌تونن مدل دیگه‌ای هم انتخاب کنن.

به گفته Joel Hron، مسئول بخش هوش مصنوعی تامسون رویترز، این پروژه حدود ۴۰ میلیون دلار طی دو سال برای نیروی انسانی و محاسبات هزینه داشته، اما با صرفه‌جویی‌هایی که پیش اومده، هزینه آموزش نهایی مدل فقط حدود ۴۵۰ هزار دلار شده. به جای ساخت یه مدل پایه از صفر، تیم از یه مدل متن‌باز (open-weight) شروع کردن و روش محتوای اختصاصی، روش‌های آموزشی و تخصص حرفه‌ای خودشونو اضافه کردن؛ رویکردی که به گفته اونا هم هزینه آموزش و هم هزینه inference رو نسبت به مدل‌های عمومی فرانتیر کمتر کرده.

فرایند آموزش شامل هم‌راستاسازی مدل پایه با ارزش‌های شرکت، پیش‌آموزش روی محتوای رویترز، و یادگیری تقویتی برای کار کردن با ابزارهایی مثل Westlaw و Practical Law بوده. Jonathan Schwartz، مسئول تحقیقات پایه‌ای شرکت، می‌گه تخصصی کردن مدل اگه درست انجام نشه می‌تونه توانایی‌های عمومیش رو خراب کنه، برای همین تیم روی یادگیری مستمر (continual learning) تمرکز کرده تا مهارت‌های تخصصی رو بدون از دست دادن قابلیت‌های قبلی اضافه کنه.

طبق تست‌های داخلی، وقتی همه مدل‌ها فقط به وب دسترسی داشتن Thomson تقریبا هم‌تراز مدل‌های پیشرو بوده و با اتصال به محتوای رویترز، عملکردش کمی بهتر هم می‌شه؛ البته این نتایج هنوز به‌طور مستقل تایید نشدن. شرکت الان مدل رو در اختیار متخصص‌ها و دانشگاه‌ها گذاشته و قصد داره نسخه کوچیک‌تر و متن‌بازش رو روی Hugging Face با مجوز آکادمیک منتشر کنه. قدم بعدی فقط اضافه کردن محتوای بیشتر نیست، بلکه تبدیل مفیدترین بخش‌هاش به سیگنال‌های آموزشی بهتره (تا الان فقط حدود ۱۰٪ استفاده شده).

نکات کلیدی:

• Thomson اولین مدل زبانی اختصاصی تامسون رویترزه و اول تو Tabular Analysis از CoCounsel Legal استفاده می‌شه
• هزینه کل پروژه حدود ۴۰ میلیون دلار طی دو سال بوده ولی هزینه آموزش نهایی فقط حدود ۴۵۰ هزار دلار شده
• مدل از یه پایه متن‌باز ساخته شده و با محتوای اختصاصی رویترز (شامل Westlaw و Practical Law) تقویت شده
• تامسون رویترز قصد داره نسخه کوچیک‌تر و متن‌باز مدل رو روی Hugging Face با مجوز غیرتجاری منتشر کنه
• تا الان فقط حدود ۱۰٪ از کل پایگاه دانش شرکت برای آموزش مدل استفاده شده