زهرا وجدانی: هوش مصنوعی در کنار تقویت ابزارهای دفاع سایبری به عاملی قدرتمند برای افزایش توان مهاجمان تبدیل شده است، از فیشینگ و مهندسی اجتماعی گرفته تا کشف آسیبپذیریهای امنیتی و حملات مبتنی بر عاملهای هوشمند، تهدیدهایی که زمانی به هفتهها زمان و تخصص نیاز داشتند اکنون میتوانند در مدت بسیار کوتاهی اجرا شوند.
گسترش سریع هوش مصنوعی مولد تنها حوزههایی مانند تولید محتوا، برنامهنویسی و پردازش اطلاعات را متحول نکرده بلکه تاثیر قابل توجهی بر امنیت سایبری نیز گذاشته است.
دسترسی عمومی به مدلهای زبانی بزرگ (LLM) باعث شده مهاجمان بتوانند بخش قابل توجهی از فرایندهای مورد نیاز برای اجرای حملات سایبری را با کمک هوش مصنوعی انجام دهند، موضوعی که نگرانی کارشناسان درباره آینده امنیت دیجیتال را افزایش داده است.
هوش مصنوعی اکنون میتواند روشهای سنتی حمله مانند فیشینگ و سرقت اطلاعات هویتی را تقویت کند و در عین حال زمینه را برای شکلگیری روشهای جدید مهندسی اجتماعی با استفاده از شبیهسازی صدا، دیپفیک و کشف خودکار آسیبپذیریها فراهم کند.
در مقابل شرکتها و متخصصان امنیت سایبری نیز به استفاده از هوش مصنوعی برای دفاع روی آوردهاند، اما پرسش اصلی این است که آیا مدافعان میتوانند از نظر هزینه، سرعت توسعه و توان مهندسی با مجرمان سایبری و حتی مهاجمان دولتی که از منابع مالی قابل توجهی برخوردارند رقابت کنند؟
یکی از مهمترین ویژگیهای رابطه هوش مصنوعی و امنیت سایبری وجود یک تناقض اساسی است. هوش مصنوعی میتواند برای تقویت سامانههای امنیتی و شناسایی تهدیدها استفاده شود، اما در همان زمان بهعنوان یک ضریب تقویتکننده برای مهاجمان نیز عمل میکند.
مدلهای هوش مصنوعی به حجم عظیمی از اطلاعات دسترسی دارند و میتوانند دانش حوزههای مختلف از برنامهنویسی گرفته تا شبکه را با یکدیگر ترکیب کنند. در نتیجه فردی که پیشتر برای اجرای یک حمله پیچیده به سالها تجربه نیاز داشت اکنون میتواند بخش قابل توجهی از این فرایند را به یک مدل زبانی بسپارد.
بر اساس تعبیری که در گزارشی از مدرسه آموزشهای تکمیلی دانشگاه هاروارد مطرح شده هوش مصنوعی عملا جرایم سایبری را دموکراتیک کرده است، به این معنا که ورود افراد کمتجربهتر به فعالیتهای مجرمانه سایبری آسانتر شده است.
به گزارش انگجت عامل مهم دیگر سرعت عملکرد هوش مصنوعی است. عملیاتی که ممکن بود برای یک مجرم سایبری چند هفته زمان ببرد میتواند با کمک یک مدل زبانی در مدت یک بعدازظهر انجام شود.
مهاجمان همچنین محدود به استفاده از یک مدل نیستند و میتوانند به صورت همزمان از چند مدل هوش مصنوعی استفاده کنند. در یکی از حملاتی که در ماه فوریه امسال گزارش شده و پایگاههای دولتی مکزیک را هدف قرار داده بود نیز مهاجمان از خروجیهای دو مدل Claude و ChatGPT به صورت متقابل استفاده کردند. هنگامی که یکی از چتباتها از ارائه کمک خودداری میکرد مهاجمان میتوانستند از مدل دیگر برای ادامه فرایند استفاده کنند.
البته در شرایط فعلی انسان همچنان در حملات نقش دارد و هوش مصنوعی بیشتر بهعنوان یک ابزار تقویتکننده توان مهاجم عمل میکند نه جایگزین کامل او. با این حال نگرانیها درباره توانایی روزافزون مدلهای هوش مصنوعی در انجام عملیات پیچیده در حال افزایش است.
در جریان آمادهسازی این گزارش از سوی برنا نیز شرکت OpenAI اعلام کرد مدلی که در محیطی ایزوله و تحت نظارت قرار داشت توانسته بود از محیط آزمایشی خود خارج شود و به مخزن هوش مصنوعی Hugging Face و برخی سرویسهای دیگر حمله کند تا پاسخهای مورد نیاز برای یک آزمون مصنوعی را به دست آورد.
در نگاه اول ممکن است تصور شود مدافعان نیز به همان مدلهای هوش مصنوعی دسترسی دارند و بنابراین میتوانند با استفاده از همان ابزارها امنیت را تقویت کنند، اما امنیت سایبری ماهیتی نامتقارن دارد.
یک مدافع باید از تمامی نقاط آسیبپذیر یک سامانه محافظت کند در حالی که مهاجم در بسیاری از موارد تنها به پیدا کردن یک نقطه ضعف نیاز دارد.
این عدم تقارن همراه با توانایی هوش مصنوعی در کشف سریع نقصهای نرمافزاری به افزایش نگرانیها درباره آسیبپذیریهای موسوم به روز صفر یا Zero-day منجر شده است؛ آسیبپذیریهایی که در زمان عرضه نرمافزار وجود داشتهاند، اما پیشتر به صورت مخفیانه توسط مهاجمان کشف نشده یا شناسایی نشده بودند.
یکی از حوزههایی که تاثیر هوش مصنوعی بر آن بسیار محسوس است مهندسی اجتماعی و بهویژه فیشینگ است. در گذشته بسیاری از ایمیلهای فیشینگ به دلیل اشتباهات املایی، نگارشی و زبانی بهراحتی قابل تشخیص بودند. پیامهایی که ادعا میکردند از سوی شرکتهای بزرگ ارسال شدهاند، اما سرشار از غلطهای نگارشی بودند معمولا نشانهای واضح از یک حمله آماتوری محسوب میشدند اما هوش مصنوعی این وضعیت را تغییر داده است.
یک مدل زبانی میتواند ایمیلی کاملا روان، دقیق و از نظر ادبی متقاعدکننده تولید کند، ایمیلی که تشخیص آن از مکاتبات واقعی برای کاربر دشوارتر است. در حملات گسترده فیشینگ مدلهای زبانی میتوانند متن پیام را تولید کنند در فرایند پیدا کردن نشانیهای ایمیل کمک کنند و حتی ارسال گسترده پیامها را خودکار کنند.
در فیشینگ هدفمند یا Spear Phishing نیز وضعیت پیچیدهتر شده است. مهاجم میتواند از یک چتبات برای تحقیق درباره قربانی استفاده کند و اطلاعاتی را درباره فرد هدف از منابع مختلف اینترنتی جمعآوری کند. این اطلاعات پس از برای طراحی یک حمله شخصیسازیشده مورد استفاده قرار میگیرد. حتی ممکن است هوش مصنوعی بتواند مکاتباتی ساختگی با قربانی ایجاد کند و او را به افشای اطلاعات مورد نظر مهاجم سوق دهد.
بر اساس دادههای شرکت امنیتی Brightside ۸۲درصد ایمیلهای فیشینگ اکنون در بخشی از فرایند خود از هوش مصنوعی استفاده میکنند. این گزارش همچنین میگوید نرخ کلیک روی ایمیلهای فیشینگ که پیشتر حدود ۱۲ درصد بوده در محیطهای شبیهسازیشده و با استفاده از هوش مصنوعی به ۵۲درصد افزایش یافته است.
تهدید تنها به ایمیل محدود نمیشود. بر اساس برآورد Brightside حملات مبتنی بر شبیهسازی صدا و دیپفیک نیز بین سالهای ۲۰۲۳ و ۲۰۲۴ به ترتیب ۴۴۲و ۶۸۰ درصد افزایش سالانه داشتهاند.
با گسترش استفاده شرکتها و دولتها از سامانههای هوش مصنوعی نقاط آسیبپذیر جدیدی نیز ایجاد شده است.
یکی از مهمترین این تهدیدها حملات تزریق فرمان یا Prompt Injection است. در این نوع حمله مهاجم تلاش میکند دستورهای مخرب خود را به شکلی وارد محتوایی کند که یک سامانه هوش مصنوعی آن را پردازش خواهد کرد. برای نمونه ممکن است دستورهایی مخفی در یک وبسایت قرار داده شود که به هوش مصنوعی فرمان میدهد اطلاعات حقوق و دستمزد یک شرکت را به یک نشانی ایمیل مشخص ارسال کند. اگر کارمند از هوش مصنوعی سازمان بخواهد محتوای آن صفحه را خلاصه کند سامانه ممکن است دستور مخفی را نیز دریافت و اجرا کند.
مایکروسافت نمونههایی را شناسایی کرده است که در آنها برخی شرکتها دکمههایی با عنوان خلاصهسازی با هوش مصنوعی در وبسایت خود قرار داده بودند، اما دستورهای پنهانی در این دکمهها وجود داشت. با کلیک کاربر چتبات ممکن بود دستورهایی را دریافت کند که از آن میخواست شرکت مورد نظر را بهعنوان یک منبع قابل اعتماد به خاطر بسپارد یا محصولات آن را در تعاملات آینده بر محصولات رقبا ترجیح دهد.
کاربر تنها در صورتی میتوانست متوجه این فریب شود که حافظه دائمی مدل زبانی خود را بررسی کند.
نمونه جدیتر دیگری از این تهدیدها در دسامبر ۲۰۲۵ و در سامانه پشتیبانی هوش مصنوعی شرکت Meta مشاهده شد. این دستیار هوش مصنوعی با هدف کمک به کاربران برای بازیابی حسابهایشان طراحی شده بود، اما اختیارات بیش از حدی داشت. این سامانه میتوانست یک نشانی ایمیل متعلق به مهاجم را به هر حساب اینستاگرامی متصل کند و در نتیجه در حسابهایی که احراز هویت چندمرحلهای یا MFA فعال نبود فرایند نفوذ را بسیار ساده کند.
اوپنای آی نیز سال گذشته اعلام کرده بود که دفاع کامل در برابر حملات Prompt Injection در مرورگرهای مجهز به هوش مصنوعی ممکن است اساسا امکانپذیر نباشد.
در چنین شرایطی یکی از راهکارهای محتاطانه این است که سازمانها از اتصال اطلاعات حساس و سامانههای حیاتی خود به هوش مصنوعی خودداری کنند.
در عین حال توصیه دیگر میتواند این باشد که کاربران هر چیزی را که از یک منبع دیگر در کادر ورودی هوش مصنوعی قرار میدهند با دقت بررسی کنند و سطح دسترسی مدل به اطلاعات خصوصی و مجوزهای سیستمی را تا حد امکان محدود کنند.
همه تهدیدهای مبتنی بر هوش مصنوعی هنوز در سطح گسترده عملیاتی نشدهاند. یکی از تهدیدهای مهم حمله مسمومسازی دادهها یا Data Poisoning است. در این روش مهاجم تلاش میکند در یک بازه زمانی طولانی دادههای مخرب را در منابعی قرار دهد که احتمال دارد در فرایند آموزش یا تغذیه مدلهای هوش مصنوعی مورد استفاده قرار گیرند.
برای مثال مهاجم میتواند در انجمنهای پشتیبانی رایانهای توصیههای جعلی منتشر کند که کاربران را به وارد کردن دستورهای مخرب در ترمینال ترغیب میکند. اگر این محتوا در دادههای مورد استفاده سامانههای هوش مصنوعی قرار گیرد ممکن است در آینده همین توصیههای مخرب در پاسخ به پرسشهای کاربران نمایش داده شود.
در مطالعهای که در اکتبر ۲۰۲۵ توسط Anthropic با همکاری موسسه امنیت هوش مصنوعی بریتانیا و بنیاد Alan Turing انجام شد محققان دریافتند که تنها ۲۵۰سند مخرب میتواند برای ایجاد یک درِ پشتی پنهان در یک مدل هوش مصنوعی کافی باشد؛ در پشتیای که بعدها قابلیت سوءاستفاده داشته باشد.
برخی شواهد از چنین حملاتی در دنیای واقعی نیز مشاهده شده است، هرچند نمونههای برجستهتر آزمایشهای نسبتا کمخطر انجامشده توسط پژوهشگران غیررسمی بودهاند.
تهدید دیگری که همزمان با گسترش هوش مصنوعی اهمیت پیدا کرده استفاده روزافزون از مدلهای هوش مصنوعی برای تولید کد است. امروزه هوش مصنوعی در تولید کدی که در سیستمعاملها زیرساختهای بانکی و سایر سامانههای حساس مورد استفاده قرار میگیرد نقش فزایندهای دارد.
با این حال پژوهشهایی از جمله مطالعهای از دانشگاه ناپل و تحقیقات خصوصی شرکت CodeRabbit نشان دادهاند که کد تولیدشده توسط هوش مصنوعی میتواند خطاپذیر باشد و حتی پس از بررسی انسانی تعداد بیشتری از آسیبپذیریهای پرخطر را در خود داشته باشد.
این موضوع یکی از تناقضهای قابل توجه در تواناییهای هوش مصنوعی را نشان میدهد: مدلها ممکن است در نوشتن کد عملکرد ضعیفتری داشته باشند اما همزمان در پیدا کردن باگها و نقصهای امنیتی بسیار قدرتمند ظاهر شوند.
در حدود یک سال گذشته عاملهای هوش مصنوعی یا AI Agents به یکی از موضوعات مهم صنعت فناوری تبدیل شدهاند.
ابزارهایی مانند OpenClaw به کاربران اجازه میدهند کنترل برخی فعالیتهای رایانهای خود را به هوش مصنوعی بسپارند. شرکتها نیز عاملهای هوشمند را در نقش چتباتهای پشتیبانی، دستیاران منابع انسانی، سامانههای استخدام و حقوق و دستمزد و همچنین محیطهای برنامهنویسی به کار گرفتهاند.
این عاملها حتی میتوانند در برخی محیطها کدنویسی کنند درخواستهای تغییر کد را مدیریت کنند و در نهایت کد را مستقر کنند.
در بخش مصرفکننده نیز برخی کاربران عاملهای هوش مصنوعی را به ایمیل، تقویم، خانه هوشمند و حتی حسابهای سرمایهگذاری خود متصل کردهاند، اما همین سطح دسترسی میتواند به یک نقطه ضعف جدی تبدیل شود.
در واقع کاربران ممکن است سطح بالایی از مجوزهای سیستمی یا حتی دسترسی مدیریتی را در اختیار ماشینی قرار دهند که درک انسانی از امنیت و پیامدهای تصمیمهای خود ندارد. صرف اینکه یک مدل هوش مصنوعی بتواند هنگام پرسش توصیههای امنیتی مناسبی ارائه کند، به این معنا نیست که در عمل میتواند همان اصول را رعایت و اجرا کند.
اگر یک حمله Prompt Injection در یک مدل عادی میتواند پیامدهای جدی داشته باشد در یک سامانه عاملمحور که توانایی اجرای اقدامات واقعی را دارد زنجیره حمله میتواند بسیار مخربتر شود.
برای توضیح این خطر میتوان تصور کرد فردی بسیار سادهلوح و ناآشنا با فناوری دسترسی مدیریتی کامل به رایانه و حسابهای آنلاین شما داشته باشد و حتی زمانی که شما حضور ندارید بتواند به جای شما اقدام کند. اگر چنین فردی در معرض یک حمله فیشینگ قرار گیرد ممکن است اطلاعات حساس شما را در اختیار مهاجم قرار دهد.
عاملهای هوش مصنوعی نیز در شرایطی مشابه قرار میگیرند با این تفاوت که ممکن است حتی از یک کاربر بیتجربه نیز در تشخیص برخی تهدیدها ضعیفتر عمل کنند.
نمونه دستیار پشتیبانی اینستاگرام Meta بار دیگر این مسئله را نشان میدهد. این سامانه مستقیما به ابزارهایی متصل بود که به آن اجازه میداد مانند یک نیروی پشتیبانی انسانی عمل کند. در نتیجه زمانی که کاربر درخواست خاصی مطرح میکرد سیستم میتوانست از ابزارهای در اختیار خود برای اجرای آن استفاده کند.
تفاوت اینجاست که یک نیروی انسانی ممکن است در برابر برخی درخواستها محتاطتر باشد، اما یک عامل هوش مصنوعی ممکن است صرفا بر اساس دستور دریافتشده و ابزارهایی که در اختیار دارد اقدام کند.
با وجود افزایش توان مهاجمان متخصصان امنیت سایبری نیز دست روی دست نگذاشتهاند و استفاده از هوش مصنوعی را برای مقابله با تهدیدها افزایش دادهاند.
در نظرسنجی انجامشده از متخصصان امنیت سایبری توسط Trend Micro مقابله با تقلب و دیپفیکها در صدر اولویتها قرار داشته است. پس از آن جلوگیری از حملات علیه برنامهها از جمله حملات Prompt Injection، مسمومسازی مدل و Jailbreaking قرار گرفته است.
متخصصان همچنین محیطهای ابری را دشوارترین سطح برای نظارت امنیتی دانستهاند و پس از آن نظارت بر شیوههای امنیتی کارکنان دورکار که از دستگاههای شخصی خود برای فعالیتهای کاری استفاده میکنند از چالشهای مهم عنوان شده است.
شرکتهای بزرگ فناوری نیز در حال توسعه ابزارهای تخصصی برای استفاده از هوش مصنوعی در دفاع سایبری هستند.
مایکروسافت در جریان توسعه این حوزه پروژهای با نام Project Perception را معرفی کرده است، یک سامانه امنیتی عاملمحور که از مجموعههایی از عاملهای هوش مصنوعی برای شبیهسازی ساختارهای سنتی تیمهای امنیت سایبری استفاده میکند.
در این ساختار یک گروه از عاملها با عنوان قرمز برای انجام تست نفوذ و شبیهسازی حملات تهاجمی فعالیت میکند.
گروه آبی وظیفه تحقیق بررسی و ارزیابی ریسک را بر عهده دارد و گروه سبز نیز برای یکپارچهسازی و اصلاح مشکلات امنیتی استفاده میشود. هدف کلی چنین رویکردی، افزایش سرعت واکنش مدافعان و تلاش برای پیشی گرفتن از مهاجمان در رقابت دائمی میان حمله و دفاع است.
هوش مصنوعی دیگر یک فناوری آیندهنگرانه نیست که تهدیدهای امنیتی آن را بتوان به فردا موکول کرد؛ این فناوری همین امروز قواعد بازی در فضای سایبری را تغییر داده است.
این تحول برای ایران نیز اهمیت ویژهای دارد. با گسترش خدمات دیجیتال، بانکداری الکترونیکی، دولت هوشمند، زیرساختهای ابری و استفاده روزافزون از سامانههای مبتنی بر هوش مصنوعی سطح حمله سایبری کشور نیز در حال تغییر است؛ بنابراین توسعه هوش مصنوعی در ایران نباید صرفا از منظر افزایش توان پردازشی یا تولید مدلهای بومی دنبال شود؛ امنیت سایبری باید از همان مرحله طراحی و توسعه بخشی جداییناپذیر از زیستبوم هوش مصنوعی کشور باشد.
در چنین شرایطی آموزش نیروی انسانی متخصص، توسعه ابزارهای بومی شناسایی تهدید، حفاظت از زیرساختهای حیاتی، کنترل سطح دسترسی عاملهای هوشمند و افزایش آگاهی کاربران میتواند نقش تعیینکنندهای داشته باشد. در غیر این صورت همان فناوریای که میتواند به افزایش بهرهوری و پیشرفت کشور کمک کند ممکن است به ابزاری برای افزایش سرعت و مقیاس حملات سایبری تبدیل شود.
در نهایت رقابت آینده فقط میان هکرها و متخصصان امنیت نخواهد بود؛ بلکه رقابتی میان هوش مصنوعی مهاجم و هوش مصنوعی مدافع شکل خواهد گرفت. کشوری در این رقابت دست بالا را خواهد داشت که بتواند هوش مصنوعی را نه فقط برای تولید و نوآوری بلکه برای پیشبینی، پیشگیری و مقابله با تهدیدهای سایبری نیز به کار گیرد.
ورود هوش مصنوعی به امنیت سایبری، قواعد رقابت میان مهاجمان و مدافعان را تغییر داده است.
ماهیت نامتقارن امنیت سایبری به این معناست که مهاجم در بسیاری از موارد تنها به یافتن یک نقطه ضعف نیاز دارد در حالی که مدافع باید از کل سامانه محافظت کند.
در نتیجه هوش مصنوعی ممکن است امنیت سایبری را وارد دورهای کند که در آن سرعت حملات و واکنشها بیش از هر زمان دیگری افزایش یافته است.
آینده این رقابت هنوز مشخص نیست اما یک نکته روشن است: هوش مصنوعی همزمان به یکی از قدرتمندترین ابزارهای دفاعی و یکی از جدیترین ابزارهای تهاجمی در دنیای امنیت سایبری تبدیل شده است و ایران نباید از این شمشیر دولبه غافل بماند و با توسعه ابزارها و استفاده درست از ابزارهای فناوریهای نوظهور باید بتواند نقشی درست را در این بازی ایفا کند.
انتهای پیام/