دیپسیک مدل جدید خود را ارزانتر ارائه کرد
محققان شرکت دیپسیک مدل آزمایشی جدیدی به نام V۳.۲-exp معرفی کردند که برای کاهش چشمگیر هزینههای استنتاج (Inference) در عملیات طولانیمدت طراحی شده است. این شرکت مدل را در Hugging Face منتشر کرد و مقاله علمی مرتبط را نیز در GitHub در دسترس قرار داد.
ویژگی مهم این مدل به شرح زیر است:
Lightning Indexer: ماژولی که بخشهای خاصی از پنجره متنی را اولویتبندی میکند.
Fine-Grained Token Selection System: سیستمی که توکنهای خاصی از همان بخشها را انتخاب و وارد پنجره توجه محدود ماژول میکند.
ترکیب این دو سیستم به مدلهای Sparse Attention اجازه میدهد بخشهای طولانی متن را با بار سرور نسبتاً کم پردازش کنند.
در عملیاتهای طولانی، این سیستم مزایای قابل توجهی دارد. تستهای اولیه دیپسیک نشان داد که هزینه یک فراخوان ساده API میتواند در چنین شرایطی تا نصف کاهش یابد. با وجود اینکه مدل Open-Weight است و بهصورت رایگان روی Hugging Face در دسترس است، انتظار میرود به زودی تستهای مستقل توانایی ادعاهای ارائه شده در مقاله را بررسی کنند.
مدل جدید دیپسیک یکی از آخرین دستاوردها در زمینه کاهش هزینههای استنتاج است، یعنی هزینههای سرور برای اجرای مدلهای هوش مصنوعی پیشآموزشدیده، که از هزینههای آموزش مدل جداست. محققان دیپسیک به دنبال راههایی بودند تا معماری اصلی ترنسفورمر را به شکل کارآمدتری اجرا کنند و دریافتهاند که بهبودهای قابل توجهی ممکن است.
شرکت دیپسیک که در چین مستقر است، در دوران رشد سریع هوش مصنوعی، جایگاه خاصی داشته است. این شرکت اوایل سال با مدل R۱ خود خبرساز شد؛ مدلی که عمدتاً با یادگیری تقویتی و با هزینه بسیار کمتر نسبت به رقبای آمریکایی آموزش داده شده بود. با این حال، مدل R۱ انقلابی در آموزش هوش مصنوعی ایجاد نکرد و در ماههای بعد، شرکت کمتر در کانون توجه قرار گرفت.
رویکرد جدید توجه پراکنده احتمالاً جنجوی مشابه R۱ ایجاد نمیکند، اما میتواند به ارائهدهندگان آمریکایی ترفندهای ارزشمندی برای کاهش هزینههای استنتاج آموزش دهد.
انتهای پیام/
