۲۳ بهمن ۱۴۰۴
به روز شده در: ۲۳ بهمن ۱۴۰۴ - ۰۲:۳۰
فیلم بیشتر »»
کد خبر ۱۰۵۵۱۴۴
تاریخ انتشار: ۰۷:۲۴ - ۰۸-۰۲-۱۴۰۴
کد ۱۰۵۵۱۴۴
انتشار: ۰۷:۲۴ - ۰۸-۰۲-۱۴۰۴

داده‌هایی که هوش مصنوعی را «مسموم» می‌کنند

داده‌هایی که هوش مصنوعی را «مسموم» می‌کنند
 مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

اشتیاق بی‌وقفه و سیری‌ناپذیر برای کسب داده‌های بیشتر می‌تواند نقص مهلک هوش مصنوعی یا دستکم سریع‌ترین راه برای نفوذ «سم» به آن باشد و مطالعه‌ای جدید نشان می‌دهد که چگونه می‌توان از چنین حملاتی جلوگیری کرد.

به گزارش ایسنا، مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

به نقل از دیجیتال‌ترندز، اکثر سیستم‌های هوش مصنوعی که امروزه با آنها مواجه می‌شویم از چت جی‌پی‌تی گرفته تا توصیه‌های شخصی‌سازی‌شده نتفلیکس فقط به دلیل حجم گسترده متن، تصویر، گفتار و سایر داده‌هایی که بر اساس آنها آموزش دیده‌اند، به اندازه کافی «هوشمند» هستند که چنین شاهکارهای چشمگیری را انجام دهند. اگر این گنجینه غنی آلوده شود، رفتار مدل می‌تواند دچار مشکل شود.

پیامدهای چنین اتفاقی در دنیای واقعی بسیار فراتر از یک چت‌بات است که بی هدف حرف می‌زند یا مولدهای متن به تصویری که وقتی از آنها خواسته می‌شود پرنده‌ای را نشان دهند، تصویر یک هواپیما را تولید می‌کنند. گروه‌هایی از افراد سودجو می‌توانند به طور بالقوه باعث شوند که یک ماشین خودران چراغ قرمز را نادیده بگیرد، یا در مقیاس بسیار بزرگتر، باعث اختلال و قطعی شبکه برق شوند.

برای دفاع در برابر تهدید حملات مختلف مسمومیت داده‌ها، گروهی از محققان امنیت سایبری دو فناوری نوظهور یعنی یادگیری فدرال و بلاکچین را برای آموزش ایمن‌تر هوش مصنوعی ترکیب کرده‌اند. رویکرد نوآورانه این گروه با موفقیت، داده‌های نادرست را قبل از اینکه بتوانند مجموعه داده‌های آموزشی را به خطر بیندازند، شناسایی و حذف کرد.

هادی امینی، محقق ارشد و استادیار در دانشکده علوم محاسبات و اطلاعات بنیادی موسسه نایت، می‌گوید: ما روشی ایجاد کرده‌ایم که می‌تواند کاربردهای زیادی برای تاب‌آوری زیرساخت‌های حیاتی، امنیت سایبری حمل و نقل، مراقبت‌های بهداشتی و موارد دیگر داشته باشد.

بخش اول این رویکرد جدید شامل یادگیری فدرال است. این روش منحصر به فرد برای آموزش هوش مصنوعی، از یک نسخه کوچک از یک مدل آموزشی استفاده می‌کند که مستقیما روی دستگاه شما آموزش می‌بیند و فقط به‌روزرسانی‌ها و نه داده‌های شخصی کاربر را با مدل جهانی روی سرور یک شرکت به اشتراک می‌گذارد. این روش اگرچه که حریم خصوصی را حفظ می‌کند، اما همچنان در برابر حملات داده‌های مسموم، آسیب‌پذیر است.

اروین مور (Ervin Moore)، کاندیدای دکترا در آزمایشگاه امینی و نویسنده اصلی این مطالعه، توضیح می‌دهد: تأیید اینکه آیا داده‌های کاربر قبل از رسیدن به مدل، صحیح یا نادرست است، چالشی برای یادگیری فدرال است. بنابراین، ما برای کاهش این نقص به فکر بلاکچین افتادیم.

بلاکچین که به دلیل نقشش در ارزهای دیجیتال مانند بیت‌کوین محبوبیت پیدا کرده است، یک پایگاه داده مشترک است که در شبکه‌ای از رایانه‌ها توزیع شده است. داده‌ها در بلوک‌هایی که به ترتیب زمانی روی یک زنجیره به هم متصل شده‌اند، ذخیره می‌شوند. هر کدام اثر انگشت خود و همچنین اثر انگشت بلوک قبلی را دارند که آن را عملا آن را ضد دستکاری می‌کند.

کل زنجیره از یک ساختار خاص پیروی می‌کند. این مانند یک فرآیند بررسی است تا اطمینان حاصل شود که بلوک‌های تصادفی اضافه نمی‌شوند. می‌توان آن را مانند یک چک لیست برای پذیرش داده در نظر گرفت.

محققان هنگام ساخت مدل خود از این قابلیت به نفع خود استفاده کردند. این مدل به‌روزرسانی‌های بلوک را مقایسه می‌کرد و محاسبه می‌کرد که آیا به‌روزرسانی‌ها به طور بالقوه سمی هستند یا خیر. به‌روزرسانی‌های بالقوه سمی ثبت شده و سپس از تجمیع شبکه حذف می‌شدند.

امینی، که همچنین رهبری تیم متخصصان امنیت سایبری و هوش مصنوعی دانشگاه فلوریدا را بر عهده دارد و در حال بررسی هوش مصنوعی امن برای سیستم‌های حمل و نقل متصل و خودران است، می‌گوید: گروه ما اکنون با همکاری مرکز ملی امنیت سایبری و تاب‌آوری حمل و نقل همکاری نزدیکی دارد تا از رمزگذاری کوانتومی پیشرفته برای محافظت از داده‌ها و سیستم‌ها استفاده کند. هدف ما تضمین ایمنی و امنیت زیرساخت‌های حمل و نقل و در عین حال استفاده از قدرت هوش مصنوعی پیشرفته برای بهبود سیستم‌های حمل و نقل است.

ارسال به دوستان
چرا گاهی قبل از زنگ ساعت از خواب بیدار می‌شویم؟ این ۳۰ نفر حق ندارند در تهران رانندگی کنند! / 50 سال پیش پنتاگون ناو هواپیمابر دوم را برای «احتمال اعزام به خاورمیانه» آماده می‌کند پژوهشی تازه از ۵ تیپ خواب با پیامدهای متفاوت سلامت و سبک زندگی پرده برمی‌دارد محمد رضا گلزار: تراپیست دارم ادعای وال‌استریت ژورنال: آمادگی دومین ناو هواپیمابر آمریکا برای اعزام به غرب آسیا واکنش عراقچی به دروغ پردازی‌های رسانه صهیونیستی: هیچکس اعدام نشده، دو هزار نفر هم عفو شده اند کتک کاری و درگیری فیزیکی شدید اعضای پارلمان ترکیه (فیلم) تیراندازی مرگبار در یک مدرسه در کانادا : ۱۰ کشته و ۲۵ مجروح امیر دبیری‌مهر: تهران و واشنگتن به‌دنبال عدم تعرض متقابل هستند/ رضایت جامعه جلب نشود توافق‌ها اهمیتی ندارند از "گفتن برای دیده شدن" تا "گفتن پس از تصمیم": تردد خودروهای منطقه آزاد ماکو در آذربایجان غربی آزاد شد لاریجانی: زمان دور بعدی مذاکرات هنوز مشخص نشده است ترامپ پس از پایان جلسه با نتانیاهو: اصرار دارم مذاکرات با ایران ادامه پیدا کند تاکتیک عجیب اسرائیلی‌ها برای مهار مذهبی‌ها و معترضین در خیابان (فیلم) حماس: سلاح ما قابل تحویل نیست