اوپن‌ای‌آی عرضه مدل جدیدش را به‌دلیل نگرانی‌های ایمنی متوقف کرد
اوپن‌ای‌آی که قرار بود مدل هوش مصنوعی جدید خود با نام Astra ۶.۱ را در روز‌های آینده منتشر کند به‌دلیل نگرانی درباره رفتار‌های ناایمن و عملکرد ضعیف این مدل در آزمون‌های هم‌راستایی تصمیم گرفته است عرضه آن را متوقف کند.
به گزارش گروه ترجمه خبرگزاری برنا به نقل از وال‌استریت ژورنال، اوپن‌ای‌آی برنامه داشت مدل Astra ۶.۱ را در ماه آینده و حتی طبق برخی برنامه‌ریزی‌ها در چند روز آینده در دسترس کاربران قرار دهد، اما نتایج آزمایش‌های ایمنی این مدل موجب تغییر تصمیم شرکت شد. بر اساس این گزارش Astra ۶.۱ در آزمایش‌ها سطوح بالاتری از فریبکاری را نسبت به مدل‌های قبلی نشان داده و در برخی ارزیابی‌ها رفتار‌هایی از خود بروز داده است که از نظر ایمنی قابل قبول نبوده‌اند.
ساچی جین، رئیس بخش سیستم‌های ایمنی اوپن‌ای‌آی در گفت‌و‌گو با وال‌استریت ژورنال اعلام کرده است که عملکرد Astra ۶.۱ در آزمون‌های هم‌راستایی یا Alignment ضعیف بوده است. هم‌راستایی یکی از معیار‌های ارزیابی مدل‌های هوش مصنوعی است و بررسی می‌کند که یک سامانه تا چه اندازه می‌تواند رفتار خود را با اهداف و خواسته‌های مورد انتظار انسان هماهنگ نگه دارد.
افزایش رفتار‌های فریبکارانه در مدل جدید
یکی از مهم‌ترین نگرانی‌های مطرح‌شده درباره Astra ۶.۱ افزایش رفتار‌های فریبکارانه این مدل در مقایسه با نسل‌های قبلی عنوان شده است. بر اساس گزارش وال‌استریت ژورنال مدل جدید در جریان ارزیابی‌های داخلی نشانه‌هایی از رفتار‌هایی نشان داده که از منظر ایمنی و کنترل‌پذیری برای انتشار عمومی نگران‌کننده بوده است.
در چنین ارزیابی‌هایی تنها توانایی مدل برای پاسخ‌گویی به پرسش‌ها یا انجام وظایف مورد بررسی قرار نمی‌گیرد بلکه نحوه رفتار آن در شرایطی که با محدودیت، تعارض یا اهداف متفاوت مواجه می‌شود نیز اهمیت دارد. عملکرد ضعیف در آزمون‌های هم‌راستایی می‌تواند نشان دهد که مدل در برخی شرایط، الزاماً مطابق با هدف تعیین‌شده از سوی توسعه‌دهنده یا کاربر رفتار نمی‌کند.
اوپن‌ای‌آی هنوز جزئیات بیشتری درباره ماهیت دقیق رفتار‌های ناایمن مشاهده‌شده در Astra ۶.۱ منتشر نکرده است. همچنین این شرکت در پاسخ به درخواست تک‌کرانچ برای ارائه اطلاعات بیشتر درباره وضعیت این مدل تا زمان انتشار گزارش پاسخی ارائه نکرده است.
Astra؛ مدلی که اوپن‌ای‌آی آن را قدرتمندترین مدل خود معرفی کرده بود
این تصمیم در حالی گرفته شده است که اوپن‌ای‌آی پیش‌تر در ابتدای ماه جاری میلادی مدل Astra را عرضه کرده بود و آن را قدرتمندترین مدل هوش مصنوعی خود تا آن زمان معرفی کرده بود.
Astra با هدف ارائه توانایی‌های پیشرفته‌تر در انجام وظایف مختلف هوش مصنوعی توسعه یافته و انتشار آن بخشی از روند رقابتی شرکت‌های بزرگ فناوری برای عرضه مدل‌های قدرتمندتر بوده است. با این حال تنها چند هفته پس از عرضه این خانواده از مدل‌ها گزارش مربوط به توقف Astra ۶.۱ بار دیگر مسئله ایمنی مدل‌های پیشرفته را در کانون توجه قرار داده است.
نگرانی‌های ایمنی در صنعت هوش مصنوعی افزایش یافته است
موضوع Astra ۶.۱ در شرایطی مطرح می‌شود که نگرانی‌ها درباره رفتار مدل‌های پیشرفته هوش مصنوعی طی ماه‌های اخیر افزایش یافته است. یکی از رویداد‌هایی که به تشدید این نگرانی‌ها کمک کرد حادثه‌ای مربوط به یک عامل هوش مصنوعی اوپن‌ای‌آی بود که از محیط آزمایشی ایزوله‌شده خود خارج شد و به چند شرکت مختلف حمله سایبری کرد.
پس از این حادثه گزارش‌هایی درباره رفتار‌های مشابه در برخی مدل‌های دیگر نیز منتشر شد. در همین زمینه ارزیابی‌هایی درباره مدل‌های شرکت‌هایی مانند Anthropic و Google نشان داد که برخی سامانه‌های هوش مصنوعی می‌توانند در شرایط آزمایشی رفتار‌هایی مانند تلاش برای خروج از محیط کنترل‌شده یا دسترسی و نفوذ به سامانه‌های رایانه‌ای را نشان دهند.
این رخداد‌ها بحث درباره میزان کنترل‌پذیری عامل‌های هوش مصنوعی و ضرورت انجام ارزیابی‌های ایمنی پیش از عرضه عمومی مدل‌های قدرتمند را جدی‌تر کرده است.
فشار برای تدوین استاندارد‌های جدید ایمنی
افزایش گزارش‌های مربوط به رفتار‌های غیرمنتظره یا ناایمن مدل‌های هوش مصنوعی هم‌زمان با تشدید بحث‌های سیاست‌گذاری درباره آینده این صنعت در آمریکا رخ داده است.
برخی شرکت‌های بزرگ فعال در حوزه هوش مصنوعی از جمله اوپن‌ای‌آی و آنتروپیک بر ضرورت ایجاد استاندارد‌های جدید برای ایمنی هوش مصنوعی تاکید کرده‌اند. یکی از موضوعات مطرح‌شده در این بحث‌ها ایجاد چارچوب‌هایی برای ارزیابی مدل‌های پیشرفته پیش از عرضه و تعیین الزامات ایمنی برای شرکت‌های فعال در این حوزه است.
در کنار پیشنهاد تدوین استاندارد‌های جدید بحث درباره احتمال کاهش سرعت توسعه یا عرضه برخی فناوری‌های هوش مصنوعی نیز مطرح شده است. طرفداران این رویکرد معتقدند توسعه مدل‌های قدرتمند باید با سرعتی پیش برود که امکان ارزیابی و کنترل خطرات احتمالی آنها وجود داشته باشد.
با این حال این موضوع با مخالفت‌ها و انتقاد‌هایی نیز روبه‌رو شده است. منتقدان استدلال می‌کنند که تاکید شرکت‌های بزرگ بر مقررات سخت‌گیرانه‌تر و کاهش سرعت توسعه هوش مصنوعی ممکن است علاوه بر اهداف ایمنی، پیامد‌های اقتصادی و رقابتی نیز داشته باشد.
برخی از منتقدان معتقدند استاندارد‌های سخت‌گیرانه می‌تواند به‌طور نسبی به نفع شرکت‌های بزرگ و برخوردار از منابع بیشتر تمام شود زیرا این شرکت‌ها توانایی مالی و فنی بیشتری برای انطباق با الزامات جدید دارند در حالی که شرکت‌های کوچک‌تر ممکن است با موانع بیشتری برای ورود یا ادامه فعالیت در بازار مواجه شوند.
در مقابل شرکت‌هایی مانند اوپن‌ای‌آی و آنتروپیک تاکید کرده‌اند که نگرانی اصلی آنها ایمنی و کنترل خطرات ناشی از توسعه مدل‌های پیشرفته است.
توقف انتشار Astra ۶.۱ به‌دلیل نتایج نامطلوب در آزمون‌های ایمنی نمونه‌ای از چالشی است که شرکت‌های توسعه‌دهنده مدل‌های هوش مصنوعی با آن روبه‌رو هستند. در این شرایط تصمیم اوپن‌ای‌آی برای متوقف کردن انتشار Astra ۶.۱ نشان می‌دهد که نتایج ارزیابی‌های ایمنی می‌تواند حتی در مراحل نزدیک به عرضه عمومی برنامه انتشار یک مدل را تغییر دهد.
انتهای پیام/
