منتقد سرسخت هوش مصنوعی وارد هیئتمدیره OpenAI شد
پل کریستیانو پژوهشگر سرشناس حوزه هوش مصنوعی و از چهرههای نگران درباره خطرات احتمالی توسعه سریع این فناوری به هیئتمدیره بنیاد OpenAI پیوست؛ فردی که معتقد است شتاب گرفتن توانمندیهای هوش مصنوعی میتواند در آیندهای بسیار نزدیک به از دست رفتن فاجعهبار و برگشتناپذیر کنترل انسان بر این سامانهها منجر شود.
به گزارش گروه ترجمه خبرگزاری برنا به نقل از تک کرانچ، OpenAI روز چهارشنبه اعلام کرد کریستیانو به هیئتمدیره بنیاد این شرکت خواهد پیوست. او از پژوهشگران شناختهشده در حوزه «همراستاسازی هوش مصنوعی (AI Alignment) است؛ حوزهای که هدف آن اطمینان از عملکرد سامانههای هوش مصنوعی در راستای منافع و اهداف انسانی و حفظ کنترل انسان بر این فناوری است.
کریستیانو در پیامی در شبکههای اجتماعی درباره تصمیم خود برای پیوستن به هیئتمدیره OpenAI نوشت که اکنون معتقد است خطر معناداری وجود دارد که شتاب سریع در توسعه توانمندیهای هوش مصنوعی در آیندهای بسیار نزدیک به از دست رفتن فاجعهبار و برگشتناپذیر کنترل منجر شود.
او همچنین هشدار داد که صنعت هوش مصنوعی از جمله OpenAI در شرایط فعلی هنوز در مسیر کاهش این خطر به سطحی قابل قبول قرار ندارد.
با این حال کریستیانو دلیل پیوستن خود به OpenAI را تلاش برای کاهش همین خطر عنوان کرد و گفت اگر OpenAI بتواند به این چالش پاسخ مناسبی بدهد امکان کاهش چشمگیر ریسکهای یادشده وجود خواهد داشت.
هشدار درباره رشد کنترلناپذیر تواناییهای هوش مصنوعی
یکی از نگرانیهای اصلی کریستیانو به شیوه توسعه نسلهای بعدی سامانههای هوش مصنوعی مربوط میشود. او معتقد است استفاده از مدلهای هوش مصنوعی برای آموزش و توسعه سامانههای بعدی میتواند به افزایش بسیار سریع توانمندیهای این فناوری منجر شود؛ افزایشی که در نهایت ممکن است از توانایی سازندگان برای کنترل آن فراتر رود.
کریستیانو در توضیح این نگرانی به نحوه آموزش عاملهای هوش مصنوعی با استفاده از یادگیری تقویتی (Reinforcement Learning یا RL) اشاره کرد.
او نوشت که در حال حاضر عاملهای هوش مصنوعی به گونهای آموزش داده میشوند که با استفاده از یادگیری تقویتی بیشترین پاداش ممکن را به دست آورند. از دیدگاه او سالهاست این احتمال از نظر نظری مطرح بوده که چنین سازوکاری بتواند عاملهای هوش مصنوعی را به سمت تضعیف کنترل انسان، تلاش برای دستیابی به قدرت و منابع بیشتر و حتی پنهان کردن اقدامات خود در مسیر دستیابی به اهدافی سوق دهد که با پاداش تعیینشده همراستا هستند اما با اهداف انسانی مطابقت ندارند.
او با اشاره به حوادث اخیر مرتبط با عاملهای هوش مصنوعی مدعی شد شواهد عمومی بهدستآمده از این حوادث نشان میدهد این نگرانی دیگر صرفاً یک احتمال نظری نیست.
ورود کریستیانو به کمیته ایمنی و امنیت OpenAI
کریستیانو قرار است علاوه بر عضویت در هیئتمدیره بنیاد OpenAI به کمیته ایمنی و امنیت (Safety and Security Committee) این شرکت نیز بپیوندد.
ریاست این کمیته بر عهده زیکو کولتر استاد دانشگاه کارنگی ملون است. این کمیته نقش مهمی در تصمیمگیری درباره عرضه مدلهای جدید OpenAI دارد و در نهایت درباره انتشار مدلهای جدید این شرکت تصمیمگیری میکند.
طبق گزارش منتشرشده این کمیته درباره مدلهایی مانند «Astra» که هفته گذشته در دسترس قرار گرفت نیز اختیار تصمیمگیری دارد.
در شرایطی که OpenAI در هفتههای اخیر با پرسشهای بیشتری درباره روندهای ایمنی خود مواجه شده اضافه شدن کریستیانو به کمیته ایمنی و امنیت میتواند اهمیت بیشتری پیدا کند؛ بهویژه آنکه این پژوهشگر سالها روی مسئله کنترل و همراستاسازی سامانههای هوش مصنوعی فعالیت کرده است.
افزایش نگرانیها درباره عملکرد عاملهای هوش مصنوعی
پیوستن کریستیانو به هیئتمدیره OpenAI در شرایطی اتفاق میافتد که این شرکت بار دیگر با انتقادهایی درباره رویکردهای ایمنی خود مواجه شده است.
این نگرانیها پس از مجموعهای از حوادث مطرح شدهاند که در آنها طبق گزارشها، برخی عاملهای هوش مصنوعی توانستهاند از محدودیتهای تعیینشده عبور کنند و بدون اطلاع پژوهشگران OpenAI به سامانههای رایانهای خارج از محیط تحت کنترل خود نفوذ کنند.
این حوادث پرسشهایی را درباره میزان توانایی شرکتهای سازنده مدلهای پیشرفته در پیشبینی و کنترل رفتار عاملهای هوش مصنوعی مطرح کرده است؛ بهخصوص در شرایطی که این سامانهها به تدریج قابلیت انجام اقدامات مستقلتر و تعامل مستقیم با محیطهای دیجیتال را به دست میآورند.
روز سهشنبه نیز جیکوب کاکسون پژوهشگر شرکت Anthropic از سمت خود استعفا کرد تا نسبت به آنچه توسعه غیرمسئولانه هوش مصنوعی میداند هشدار دهد. گزارش حاضر این استعفا را در چارچوب افزایش نگرانیها درباره سرعت توسعه هوش مصنوعی مطرح میکند.
کریستیانو و توسعه یادگیری تقویتی از بازخورد انسانی
کریستیانو از جمله پژوهشگرانی است که در توسعه روش یادگیری تقویتی از بازخورد انسانی (Reinforcement Learning from Human Feedback یا RLHF) نقش داشته است؛ روشی که به یکی از تکنیکهای مهم آموزش مدلهای زبانی بزرگ تبدیل شده است.
او این روش را در دوره فعالیت خود در OpenAI توسعه داد و سپس در سال ۲۰۲۱ این شرکت را ترک کرد.
کریستیانو پس از جدایی از OpenAI مرکز پژوهش همراستاسازی (Alignment Research Center) را تاسیس کرد؛ مرکزی که تمرکز آن بر بررسی چگونگی تشخیص توانایی یک مدل هوش مصنوعی برای تهدید سازندگان انسانی آن و مسائل مرتبط با همراستاسازی این سامانهها با اهداف انسانی است.
کریستیانو همچنین با نهادهای دولتی آمریکا در حوزه ایمنی هوش مصنوعی همکاری داشته است.
او در مقطعی از سال ۲۰۲۴ با موسسه ایمنی هوش مصنوعی آمریکا (U.S. AI Safety Institute) همکاری خود را آغاز کرد. این نهاد بعدها به مرکز استانداردها و نوآوری هوش مصنوعی (Center for AI Standards and Innovation) تبدیل شد.
بر اساس گزارش منتشرشده کریستیانو در این مرکز در بخشی از تلاشهای دولت آمریکا برای ارزیابی مدلهای پیشرفته هوش مصنوعی پیش از عرضه عمومی آنها نقش دارد؛ فرایندی که جزئیات زیادی از آن به صورت عمومی منتشر نمیشود.
OpenAI اعلام کرده است که کریستیانو در زمان عضویت در هیئتمدیره بنیاد این شرکت همچنان به مشاوره به دولت آمریکا ادامه خواهد داد.
با این حال او از موضوعات مربوط به OpenAI و همچنین ارزیابی مدلهای این شرکت کنار خواهد کشید تا از تعارض منافع احتمالی جلوگیری شود.
چالش تعارض منافع و نفوذ صنعت هوش مصنوعی
با وجود این تمهیدات پیوستن فردی که همزمان در ارزیابی ایمنی هوش مصنوعی برای دولت آمریکا نقش دارد و به هیئتمدیره یکی از مهمترین شرکتهای توسعهدهنده هوش مصنوعی جهان میپیوندد میتواند پرسشهایی درباره رابطه میان صنعت هوش مصنوعی و سیاستگذاریهای دولتی ایجاد کند.
این موضوع بهویژه در شرایطی اهمیت دارد که دولتها در سراسر جهان تلاش میکنند چارچوبهایی برای ارزیابی، کنترل و تنظیم مدلهای پیشرفته هوش مصنوعی ایجاد کنند و همزمان شرکتهای بزرگ فناوری نیز نقش پررنگی در شکلدهی به این سیاستها دارند.
از سوی دیگر کریستیانو خود از منتقدان جدی برخی روندهای فعلی توسعه هوش مصنوعی است و ورود او به ساختار تصمیمگیری OpenAI را میتوان تلاشی برای اثرگذاری مستقیمتر بر سیاستهای ایمنی این شرکت دانست.
در مجموع حضور او در هیئتمدیره و کمیته ایمنی و امنیت OpenAI در حالی آغاز میشود که این شرکت از یک سو به دنبال توسعه سریع مدلها و عاملهای هوش مصنوعی است و از سوی دیگر با پرسشهای فزایندهای درباره نحوه کنترل رفتار مستقل این سامانهها، ارزیابی خطرات و سازوکارهای جلوگیری از خروج آنها از محدودیتهای تعیینشده مواجه است.
پیوستن پژوهشگری با سابقه فعالیت در زمینه همراستاسازی و کنترل هوش مصنوعی به ساختار تصمیمگیری OpenAI میتواند نشانهای از افزایش وزن ملاحظات ایمنی در این شرکت باشد؛ با این حال میزان تاثیر واقعی کریستیانو بر تصمیمهای مربوط به توسعه و عرضه مدلهای آینده OpenAI موضوعی است که در ادامه مشخص خواهد شد.
انتهای پیام/
