SkyRL پشتیبانی از یادگیری تقویتی بینایی-زبانی را برای مدل‌های چندوجهی اضافه می‌کند

Joerg Hiller 1405/02/04 16:33

SkyRL یادگیری تقویتی بینایی-زبانی را معرفی می‌کند و آموزش مقیاس‌پذیر برای وظایف چندوجهی را ممکن می‌سازد. بیاموزید این امر چه تأثیری بر توسعه هوش مصنوعی دارد.

SkyRL، یک کتابخانه یادگیری تقویتی (RL) توسعه‌یافته توسط آزمایشگاه Sky Computing دانشگاه UC Berkeley و Anyscale، از پشتیبانی برای آموزش پس از مرحله مدل بینایی-زبانی (VLM) خبر داده است. این به‌روزرسانی به تیم‌ها امکان می‌دهد مدل‌های چندوجهی را با استفاده از جریان‌های کاری تنظیم دقیق نظارت‌شده (SFT) و RL آموزش دهند و به تقاضای رو به رشد برای مدل‌هایی که قادر به پردازش هم‌زمان داده‌های بصری و متنی هستند پاسخ دهند.

بارهای کاری چندوجهی مانند وظایف بینایی کامپیوتری، رباتیک و استدلال عاملانه نیاز دارند که مدل‌ها ورودی‌های بصری را پردازش کنند، اقداماتی انجام دهند و بر اساس بازخورد سازگار شوند. قابلیت جدید SkyRL مدل‌های VLM را به شهروند درجه اول در پشته آموزشی خود تبدیل می‌کند و ابزارهایی برای مقیاس‌بندی آموزش در GPU‌های محلی یا خوشه‌های چندگرهی فراهم می‌آورد. این بر زیرساخت موجود SkyRL استوار است که از پیش از وظایف عاملانه پیچیده مانند معیارهای مهندسی نرم‌افزار و تولید Text-to-SQL پشتیبانی می‌کند.

ویژگی‌های کلیدی به‌روزرسانی

یکی از چالش‌های اصلی در RL برای وظایف بینایی-زبانی، حفظ سازگاری بین آموزش و استنتاج است. SkyRL با معرفی یک خط لوله غیرمتمرکز، انحراف احتمال لگاریتمی را که در پردازش ورودی‌های بصری رایج است برطرف می‌کند. با استفاده از پشته استنتاج vLLM به عنوان منبع اطلاعات، این پلتفرم اطمینان می‌دهد که توکن‌بندی و آماده‌سازی ورودی در تمام جریان‌های کاری سازگار باقی می‌ماند.

این رویکرد نه تنها آموزش را تثبیت می‌کند، بلکه مقیاس‌بندی مستقل کارگران CPU برای پردازش ورودی را نیز ممکن می‌سازد و از گلوگاه شدن توان عملیاتی GPU جلوگیری می‌کند. این به‌روزرسانی همچنین از دستورالعمل‌های آماده برای وظایفی مانند ناوبری Maze2D و Geometry-3k، یک مجموعه داده که نیازمند استدلال هندسه بصری است، پشتیبانی می‌کند. نتایج اولیه بهبود پایداری آموزش را حتی در اندازه‌های مدل بزرگ‌تر، مانند Qwen3-VL 8B Instruct، نشان داده است.

پیامدها برای توسعه هوش مصنوعی

SkyRL خود را به عنوان یک پلتفرم مرجع برای RL و SFT مقیاس‌پذیر در آموزش مدل‌های چندوجهی معرفی می‌کند. با ادغام ابزارهایی مانند Tinker API، کاربران می‌توانند جریان‌های کاری RL را بر روی زیرساخت خود مستقر کنند و وابستگی به ارائه‌دهندگان خارجی را کاهش دهند. این موضوع با توجه به تقاضای محاسباتی فزاینده برای آموزش مدل‌های بزرگ، اهمیت ویژه‌ای دارد.

این پیشرفت‌ها در زمانی رخ می‌دهد که سیستم‌های هوش مصنوعی چندوجهی تقاضای بالایی برای کاربردهای دنیای واقعی دارند. وظایفی که نیازمند تصمیم‌گیری ترتیبی، استدلال بصری و سازگاری هستند—مانند ناوبری خودمختار و تعامل پویا با ابزارها—می‌توانند بهره قابل توجهی ببرند. طراحی ماژولار SkyRL همچنین از نمونه‌سازی سریع پشتیبانی می‌کند و به محققان و توسعه‌دهندگان امکان می‌دهد با الگوریتم‌ها و پارادایم‌های آموزشی جدید آزمایش کنند.

نگاه به آینده

نقشه راه SkyRL شامل ویژگی‌هایی مانند بسته‌بندی دنباله، پشتیبانی از بک‌اند Megatron و آموزش زمینه طولانی با موازی‌سازی زمینه است. این ارتقاها انتظار می‌رود توانایی‌های آن را برای مدیریت بارهای کاری پیچیده و عاملانه بیشتر افزایش دهند. برای توسعه‌دهندگانی که مشتاق ورود به آموزش VLM هستند، SkyRL آموزش‌های مبتدی و مستندات لازم برای شروع را ارائه می‌دهد.

با ادغام روزافزون سیستم‌های چندوجهی در موارد استفاده عملی در صنعت هوش مصنوعی، توانایی آموزش و تنظیم دقیق کارآمد چنین مدل‌هایی یک عامل تمایز کلیدی خواهد بود. آخرین به‌روزرسانی SkyRL تعهد آن را به ماندن در خط مقدم این تحول منعکس می‌کند و یک چارچوب مقیاس‌پذیر و ماژولار برای تحقیق و استقرار پیشرفته RL ارائه می‌دهد.

• skyrl
• یادگیری تقویتی
• مدل‌های بینایی-زبانی
• آموزش هوش مصنوعی