توسط اولوواپلومی بانکول، محقق، سیستمهای اطلاعاتی و امنیت سایبری، دانشگاه نوادا، لاس وگاس
هر صبح، میلیونها آمریکایی در خانههایی پر از دستگاههای متصل بیدار میشوند. ترموستات میداند چه زمانی خانه را ترک میکنید. دوربین زنگ در خیابان شما را تماشا میکند. بیمارستان انتهای خیابان پمپهای تزریق، مانیتورهای بیمار و سیستمهای HVAC را اجرا میکند که از همان دسته شبکهای استفاده میکنند که یخچال هوشمند شما. و تقریباً هیچ یک از این دستگاهها به اندازه کافی محافظت نمیشوند.
ما زیرساخت فوقالعادهای از ماشینهای متصل ساختهایم و از آن با ابزارهایی که برای عصر دیگری طراحی شدهاند دفاع میکنیم.
این یک مشکل آگاهی نیست. امنیت سایبری یک اولویت فدرال برتر است. آژانس امنیت سایبری و زیرساخت (CISA) هفتگی هشدارها را منتشر میکند. میلیاردها دلار به فایروالهای سازمانی، حفاظت از نقاط پایانی و مراکز عملیات امنیتی جریان مییابد. و با این حال، سطح حمله همچنان در حال رشد است. از سال 2024، شبکه برق ایالات متحده به تنهایی میزبان بیش از 2.3 میلیون دستگاه IoT متصل است که بسیاری از آنها نرمافزار قدیمی را اجرا میکنند و هیچ برنامه وصلهگذاری و نظارتی ندارند.
شکاف بین آنچه میدانیم و آنچه میترسیم نیست. شکاف بین سیستمهای امنیتی که ساختهایم و محیطهایی است که این سیستمها واقعاً باید در آنها کار کنند.
آزمایشگاه هیچ شباهتی به دنیای واقعی ندارد
سیستمهای تشخیص نفوذ، نرمافزاری که برای علامتگذاری فعالیتهای مخرب در شبکه طراحی شده است، در دهه گذشته به طور چشمگیری بهبود یافتهاند. مدلهای یادگیری ماشین و یادگیری عمیق اکنون میتوانند الگوهای حمله را با دقت قابل توجهی در محیطهای تحقیقاتی شناسایی کنند. معماریهای ترانسفورمر که از پردازش زبان طبیعی قرض گرفته شدهاند، شبکههای حافظه کوتاه-مدت طولانی که بر روی دادههای ترافیک متوالی آموزش داده شدهاند، مدلهای مجموعهای که چندین طبقهبند را ترکیب میکنند: ادبیات آکادمیک پر از سیستمهایی است که 98 یا 99 درصد دقت دست مییابند.
این اعداد اغلب گمراهکننده هستند.
رقم دقت معمولاً از یک مجموعه داده آزمایشگاهی میآید که در شرایط کنترلشده جمعآوری شده، با توزیع ترافیک نسبتاً تمیز و روی همان نوع دادهای که مدل روی آن آموزش دیده است، آزمایش میشود. شبکههای واقعی IoT اینطور نیستند. آنها بینظم، ناهمگن و دائماً در حال تغییر هستند. دستگاههای دهها سازنده داده را با فرمتهای مختلف ارسال میکنند. الگوهای ترافیک زمانی تغییر میکنند که شخصی یک دستگاه جدید نصب میکند، یک روال را تغییر میدهد یا به سادگی برای یک هفته میرود. و به طور حیاتی، حملات واقعی رویدادهای نادری در دریای ترافیک عادی هستند.
وقتی یک مدل روی مجموعه دادهای آموزش داده میشود که در آن حملات 40 درصد از رکوردها را تشکیل میدهند، و سپس روی شبکهای مستقر میشود که در آن حملات 0.1 درصد از ترافیک واقعی را شامل میشوند، رفتار مدل کاملاً تغییر میکند. هرگز یاد نگرفته است که ندرت واقعی چگونه به نظر میرسد. نتیجه سیستمی است که تهدیداتی را که برای شناسایی آنها ساخته شده است، از دست میدهد، در حالی که هشدارهای کاذب کافی تولید میکند تا تحلیلگرانی که باید آنها را بررسی کنند، تحت فشار قرار گیرند.
مشکل عدم تعادل کلاس یک پانویس نیست
در جامعه تحقیقاتی، عدم تطابق بین دادههای آموزشی و شرایط دنیای واقعی یک نام فنی دارد: عدم تعادل کلاس. به خوبی درک شده، به طور فعال مطالعه میشود و به طور مداوم توسط سازمانهایی که این سیستمها را مستقر میکنند، کمارزشگذاری میشود.
مسئله اصلی اینجاست. یک سیستم تشخیص نفوذ شبکه باید هر بسته یا جریان ترافیک را به عنوان عادی یا مخرب طبقهبندی کند. در واقعیت، اکثریت قریب به اتفاق ترافیک عادی است. ترافیک حمله کلاس اقلیت است که گاهی اوقات کمتر از یک درصد از کل رویدادهای مشاهده شده را نشان میدهد. مدلهای یادگیری ماشین استاندارد، که برای به حداکثر رساندن دقت کلی بهینهسازی شدهاند، به سرعت یاد میگیرند که بهترین استراتژی این است که تقریباً همه چیز را به عنوان عادی طبقهبندی کنند. این استراتژی نمرات دقت عالی تولید میکند. نتایج فاجعهبار دنیای واقعی تولید میکند.
سیستمی که 80 درصد حملات را از دست میدهد زیرا برای ترجیح دادن کلاس اکثریت آموزش داده شده است، یک سیستم امنیتی نیست. یک چکباکس انطباق است.
تحقیقات در مورد تکنیکهایی مانند Adaptive SMOTE، که نمونههای مصنوعی از حملات کلاس اقلیت را برای کمک به مدلها برای یادگیری اینکه تهدیدات نادر چگونه به نظر میرسند، تولید میکند، وعده واقعی نشان داده است. اما این رویکردها باید با دقت اجرا شوند، در برابر مجموعه دادههایی که واقعاً شرایط استقرار را منعکس میکنند، آزمایش شوند و بر اساس معیارهای درست ارزیابی شوند. بازیابی، درصد حملات واقعی که سیستم واقعاً شناسایی میکند، زمانی که پیامدهای یک تشخیص از دست رفته، عفونت باجافزار در بیمارستان یا تزریق داده غلط در سیستم کنترل یک شرکت خدماتی است، بسیار مهمتر از دقت کلی است.
مشکل چند بعدی که هیچ کس نمیخواهد حل کند
یک مشکل مرتبط وجود دارد که حتی توجه کمتری دریافت میکند: چگونه تصمیم میگیریم که آیا یک سیستم تشخیص نفوذ به اندازه کافی برای استقرار خوب است.
اکثر ارزیابیها یک یا دو معیار را انتخاب میکنند و برای آنها بهینهسازی میکنند. دقت رایج است. نمره F1 در مقالات آکادمیک محبوب است. اما یک استقرار واقعی IoT نیاز به معامله بین حداقل چهار بعد رقیب به طور همزمان دارد: دقت تشخیص، کارایی محاسباتی، نرخ مثبت کاذب و سازگاری با انواع حمله جدید.
سیستمی که 99 درصد حملات شناخته شده را تشخیص میدهد اما قدرت پردازشی بیشتری نسبت به دستگاه IoT که از آن محافظت میکند مصرف میکند، یک سیستم قابل استقرار نیست. سیستمی که به طور کارآمد اجرا میشود اما ده هشدار کاذب برای هر تهدید واقعی تولید میکند، خستگی هشدار را ایجاد میکند که آنقدر شدید است که تحلیلگران دیگر بررسی نمیکنند. سیستمی که برای طبقهبندی حمله امروز بهینهسازی شده است که نمیتواند زمانی که مهاجمان تاکتیکها را تغییر میدهند، سازگار شود، سیستمی با تاریخ انقضای مشخص است.
فقدان یک چارچوب ارزیابی چند بعدی مشترک به این معنی است که سازمانهایی که سیستمهای تشخیص نفوذ را خریداری یا مستقر میکنند، نمیتوانند مقایسههای معناداری انجام دهند. یک فروشنده میتواند ادعا کند که نرخ تشخیص پیشرو در صنعت را دارد در حالی که بیصدا برای معیاری بهینهسازی میکند که در یک دمو خوب به نظر میرسد و در تولید شکست میخورد.
چه چیزی نیاز به تغییر دارد
مسیر پیش رو نیازمند بستن فاصله بین آنچه محققان میسازند و آنچه اپراتورها واقعاً مستقر میکنند است.
اول، جامعه تحقیقاتی باید سیستمهای تشخیص نفوذ را در برابر توزیعهای ترافیک واقعگرایانه ارزیابی کند، نه فقط مجموعه دادههای معیار متعادل. آزمایش در برابر CIC-IDS2017 یا NSL-KDD با پیکربندیهای پیشفرض، اعدادی تولید میکند که اساساً تخیلی هستند در مقایسه با آنچه یک شبکه بیمارستانی واقعی یا شبکه هوشمند به نظر میرسد.
دوم، سازمانهایی که این سیستمها را مستقر میکنند، باید قبل از خرید، شواهد عملکرد چند بعدی را مطالبه کنند. نرخ تشخیص به تنهایی کافی نیست. نرخ منفی کاذب در دستههای حمله نادر را بخواهید. دادههای عملکرد را تحت بودجههای محاسباتی محدود بخواهید. بپرسید سیستم شش ماه پس از استقرار، زمانی که الگوهای ترافیک تغییر کردهاند، چگونه عمل میکند.
سوم، و فوریترین، آژانسهای فدرال مسئول حفاظت از زیرساختهای حیاتی باید استانداردهای حداقل ارزیابی برای تشخیص نفوذ مبتنی بر هوش مصنوعی را تعیین کنند. CISA و NIST چارچوبهای عالی تولید کردهاند. ترجمه این چارچوبها به معیارهای عملکرد خاص و قابل آزمایش برای سیستمهای امنیتی IoT، گام بعدی است.
دستگاههای متصل از بین نمیروند. مهاجمانی که آنها را بررسی میکنند نیز به جایی نمیروند. سوال این است که آیا سیستمهایی که ما برای محافظت از آنها میسازیم، واقعاً برای دنیایی که آن سیستمها در آن کار میکنند، ساخته شدهاند، یا دنیایی که آرزو داشتیم زمانی که دادههای آموزشی را نوشتیم، در آن زندگی کنیم.
اولوواپلومی بانکول محققی در سیستمهای اطلاعاتی و امنیت سایبری در دانشگاه نوادا، لاس وگاس است، جایی که کار او بر تشخیص نفوذ مبتنی بر هوش مصنوعی برای شبکههای IoT و رایانش ابری متمرکز است. او دارای کارشناسی ارشد دوگانه در سیستمهای اطلاعات مدیریت و امنیت سایبری است.
