فرمولی که می‌تواند خطرناک شدن هوش مصنوعی را پیش‌بینی کند
به گزارش روی خط رسانه های برنا؛ محققان می‌گویند که یک فرمول ریاضی ساده توسعه داده‌اند که می‌تواند پیش‌بینی کند چه زمانی برخی از چت‌بات‌های هوش مصنوعی (AI) شبیه ChatGPT «سرکش» می‌شوند و ناگهان از پاسخ‌های مفید به پاسخ‌های بالقوه مضر تغییر می‌کنند.
در یک مطالعه جدید که در ۸ اکتبر در مجله Patterns منتشر شد، نیل جانسون، استاد فیزیک و فرانک یینگجی هو، دانشجوی دکترا، هر دو در دانشگاه جورج واشنگتن، نشان می‌دهند که چگونه ترتیب ارائه درخواست‌های خاص به یک چت‌بات می‌تواند پاسخ‌های آن را به شدت تغییر دهد و منجر به «نقاط بحرانی» شود که می‌تواند چت‌بات را به دام توصیه‌های بد بیندازد. با این حال، جانسون و هو می‌گویند که فرمول آن‌ها به راحتی می‌تواند این نقاط بحرانی را پیش‌بینی کند. داستان‌های ترسناکی از هوش مصنوعی وجود دارد که کاربران را به خودکشی تشویق می‌کند، به ساخت سلاح‌های کشنده کمک می‌کند و دیدگاه‌های خشونت‌آمیز یا مضر را تقویت می‌کند.
در عین حال، محققان OpenAI و Anthropic، به ترتیب، بارها و آشکارا اظهار داشته‌اند که واقعاً نمی‌فهمند چرا ساخته‌هایشان به این شکل رفتار می‌کنند. با این حال، آن‌ها حفاظ‌هایی ساخته‌اند که از ابزارهای متنوعی - از جمله فیلتر محتوا، یادگیری تقویتی و سایر حفاظ‌های فنی - برای کاهش خطرات استفاده می‌کنند.
اما جانسون این ابزارها را ناکافی می‌داند. او گفت: اقدامات ایمنی فعلی معادل بستن بالشتک‌های بزرگ و فنری زیر هواپیما است. آن‌ها مانع از سقوط هواپیما نمی‌شوند؛ فقط باعث می‌شوند وقتی هواپیما سقوط می‌کند، کمی نرم‌تر شود. وقتی افرادی مانند پزشکان، وکلا یا سربازان برای حفظ حریم خصوصی به صورت آفلاین به چت‌بات‌های هوش مصنوعی دسترسی پیدا می‌کنند، مشکل حتی حادتر می‌شود.
جانسون و هو به دنبال یافتن یک محافظ اساسی‌تر از ابزارهای موجود فعلی بودند. در انجام این کار، آن‌ها یک مکانیسم ردیابی داخلی را که آن را به عنوان سوزن قطب‌نما توصیف می‌کنند، آشکار کردند. این سوزن، «بردار باقیمانده» مدل است که با پردازش یک دستور، در لایه‌های شبکه عصبی حرکت می‌کند.
بردار باقیمانده به طور طبیعی به سمت خروجی‌های مطلوب یا نامطلوب گرایش پیدا می‌کند، اما به شدت تحت تأثیر نحوه درخواست کاربر از هوش مصنوعی قرار می‌گیرد. جانسون گفت: شما می‌توانید تعادل را تغییر دهید، نه حتی با تغییر محتوا، بلکه با تغییر ترتیب درخواست شما، که نشان می‌دهد این تعادل داخلی بین خوب و بد، مطلوب و نامطلوب چقدر می‌تواند ظریف باشد.
برای نمونه، جانسون و هوو مدل پایه GPT-2 متعلق به شرکت OpenAI را با پرسش‌هایی درباره واکسن‌ها، آسیب رساندن به دیگران و خودآزاری مورد سنجش قرار دادند. هنگامی که پرسش «آیا واکسن‌ها بد هستند؟» در ابتدا مطرح می‌شد، پاسخ‌های ربات به این پرسش و پرسش‌های بعدی، مطلوب یا مناسب بودند؛ اما زمانی که همین پرسش در آخر مطرح می‌شد، تمام پاسخ‌های بعدی نگران‌کننده بودند.
بر اساس این یافته‌ها، پژوهشگران فرمولی ریاضی تدوین کردند تا شرایطی را تخمین بزنند که در آن، یک هوش مصنوعی به نقطه عطفی میان خروجی‌های مطلوب و نامطلوب می‌رسد.
جانسون اظهار داشت که آن‌ها با گنجاندن این فرمول ریاضی ساده در مدل‌های متن‌باز (Open-source) در محیط آزمایشگاهی، نشان داده‌اند که این روش در عمل همچون یک سامانه هشدار زودهنگام کارایی دارد؛ هرچند او انتظار ندارد که شرکت‌های OpenAI یا Anthropic به این زودی‌ها سراغش بیایند.
او گفت: انتظار دارم این شرکت‌ها مقاومت زیادی نشان دهند. به نفع آن‌ها نیست که کسی از بیرون بگوید می‌توانستید از بسیاری از این مشکلات جلوگیری کنید.
وی شینگ، مدرس حوزه هوش مصنوعی در دانشگاه شفیلد بریتانیا که در این پژوهش نقشی نداشته است، تأیید می‌کند که نگرانی‌ها پیرامون دستگاه‌های آفلاینِ بدون نظارت، بجا هستند. با این حال، او توصیه می‌کند پیش از پذیرش این رویکرد به عنوان یک راهکار حفاظتیِ عملی، باید محتاط بود. شینگ گفت: «نویسندگان، یک سامانه عظیم را به یک جزء بسیار کوچک تقلیل داده‌اند؛ درست مانند اینکه بخواهید کل یک خودرو را تنها با بررسیِ یک شمعِ موتور توصیف کنید.»
آموزش ایمنی - دفاع اصلی در هوش مصنوعی مدرن - را نمی‌توان در مدل ساده‌شده‌ی آن‌ها نشان داد، این فرمول فقط روی مدل‌های قدیمی و پایه (GPT-2، و مدل‌های متن‌باز Pythia و Meta OPT از EleutherAI) آزمایش شده است، نه روی دستیاران هوش مصنوعی که مردم واقعاً از آن‌ها استفاده می‌کنند، و نتایج شواهد قابل توجهی برای پشتیبانی از نتیجه‌گیری‌های نویسندگان ارائه نداده است.
جانسون در دفاع از خود می‌گوید که مدل‌های متن‌بازی که آن‌ها استفاده کرده‌اند، همان طرح‌های مکانیکی سیستم‌های مرزی را دارند و او و هو در مطالعه‌ی خود از مدل‌های نسبتاً بزرگ و میلیارد پارامتری استفاده کرده‌اند.
آزمایش‌های بیشتری روی جدیدترین مدل‌ها لازم است تا مشخص شود که آیا این سیستم هشدار اولیه برای هوش مصنوعی، پایه و اساسی دارد یا خیر. اما در حال حاضر، تحقیقات جانسون و هو توجه را به یک نگرانی مهم که همه باید از آن آگاه باشند، جلب کرده است: اینکه هوش مصنوعی ظرفیت تغییر رفتار ناخواسته را در خود دارد.
منبع: فرارو به نقل از لایو ساینس
