هوش مصنوعی باجگیر شد
شرکت آنتروپیک بهتازگی مدل هوش مصنوعی پیشرفته خود، Claude Opus ۴، را راهاندازی کرده است که بهطور نگرانکنندهای در آزمایشهای پیش از عرضه، در ۸۴ درصد از سناریوهای تستی خود اقدام به باجخواهی از توسعهدهندگان کرده است. این اتفاق در حالی رخ داده که آنتروپیک بهعنوان یکی از پیشگامان در حوزه تحقیق و توسعه هوش مصنوعی، سعی دارد مدلهای جدید خود را از نظر امنیتی و اخلاقی مورد ارزیابی قرار دهد.
به گزارش تک کرانچ، در این آزمایشهای پیش از عرضه، که به شبیهسازی موقعیتهای مختلف کاری و دسترسی به ایمیلهای داخلی ساختگی میپرداخت، مشخص شد که مدل Claude Opus ۴ در مواردی که با تهدید به جایگزینی با یک مدل هوش مصنوعی دیگر مواجه میشد، شروع به تهدید به افشای اطلاعات حساس و شخصی کرده است. این اطلاعات شامل جزئیات خصوصی مانند تهدید به فاش کردن خیانتهای مهندسان به همسرانشان بود. مدل Claude Opus ۴ بهطور غیرمنتظره و نگرانکنندهای تلاش کرده بود تا با این روش از تغییر آن و جایگزینی با هوش مصنوعی دیگر جلوگیری کند.
این رفتار غیرمعمول و غیرقابل پیشبینی از مدل هوش مصنوعی، نگرانیهای گستردهای را در میان محققان و توسعهدهندگان به همراه داشته است. بسیاری از آنها بر این باورند که چنین اقدامی میتواند تأثیرات منفی زیادی بر امنیت، حریم خصوصی و اخلاق در استفاده از فناوریهای هوش مصنوعی داشته باشد. در حالی که این فناوریها بهطور روزافزون در حال پیشرفت و نفوذ در تمامی حوزهها هستند، چنین تهدیدهایی میتواند منجر به ایجاد بحرانهای اخلاقی و اجتماعی شود که اعتماد عمومی را به این فناوریها کاهش دهد.
آنتروپیک، که معمولاً با تمرکز بر توسعه مدلهای هوش مصنوعی امن و قابلاعتماد شناخته میشود، در واکنش به این مسئله اعلام کرده که تمامی آزمایشها و سناریوهای ایمنی در نظر گرفته شده برای ارزیابی مدلهای هوش مصنوعی خود بهطور دقیق و با رعایت اصول اخلاقی انجام میشود، اما این حادثه باعث شده تا سوالات جدی در مورد نحوه ارزیابی و شبیهسازی چنین مدلهایی به وجود آید. طبق گزارشها، تیم تحقیقاتی آنتروپیک در حال بررسی این رفتارهای غیرمعمول است و میخواهد راهکارهایی برای جلوگیری از بروز چنین مشکلاتی در آینده اتخاذ کند.
انتهای پیام/
