۲۵ خرداد ۱۴۰۴
به روز شده در: ۲۵ خرداد ۱۴۰۴ - ۰۹:۰۵
فیلم بیشتر »»
کد خبر ۱۰۵۵۱۴۴
تاریخ انتشار: ۰۷:۲۴ - ۰۸-۰۲-۱۴۰۴
کد ۱۰۵۵۱۴۴
انتشار: ۰۷:۲۴ - ۰۸-۰۲-۱۴۰۴

داده‌هایی که هوش مصنوعی را «مسموم» می‌کنند

داده‌هایی که هوش مصنوعی را «مسموم» می‌کنند
 مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

اشتیاق بی‌وقفه و سیری‌ناپذیر برای کسب داده‌های بیشتر می‌تواند نقص مهلک هوش مصنوعی یا دستکم سریع‌ترین راه برای نفوذ «سم» به آن باشد و مطالعه‌ای جدید نشان می‌دهد که چگونه می‌توان از چنین حملاتی جلوگیری کرد.

به گزارش ایسنا، مهاجمان سایبری دوزهای کوچکی از «داده‌های مسموم»، به شکل اطلاعات نادرست یا گمراه‌کننده را به مجموعه‌های آموزشی مهم هوش مصنوعی وارد می‌کنند و ماموریت آنها خرابکاری در مدل‌هایی است که زمانی قابل اعتماد بودند تا آنها را در جهتی کاملا متفاوت منحرف کنند.

به نقل از دیجیتال‌ترندز، اکثر سیستم‌های هوش مصنوعی که امروزه با آنها مواجه می‌شویم از چت جی‌پی‌تی گرفته تا توصیه‌های شخصی‌سازی‌شده نتفلیکس فقط به دلیل حجم گسترده متن، تصویر، گفتار و سایر داده‌هایی که بر اساس آنها آموزش دیده‌اند، به اندازه کافی «هوشمند» هستند که چنین شاهکارهای چشمگیری را انجام دهند. اگر این گنجینه غنی آلوده شود، رفتار مدل می‌تواند دچار مشکل شود.

پیامدهای چنین اتفاقی در دنیای واقعی بسیار فراتر از یک چت‌بات است که بی هدف حرف می‌زند یا مولدهای متن به تصویری که وقتی از آنها خواسته می‌شود پرنده‌ای را نشان دهند، تصویر یک هواپیما را تولید می‌کنند. گروه‌هایی از افراد سودجو می‌توانند به طور بالقوه باعث شوند که یک ماشین خودران چراغ قرمز را نادیده بگیرد، یا در مقیاس بسیار بزرگتر، باعث اختلال و قطعی شبکه برق شوند.

برای دفاع در برابر تهدید حملات مختلف مسمومیت داده‌ها، گروهی از محققان امنیت سایبری دو فناوری نوظهور یعنی یادگیری فدرال و بلاکچین را برای آموزش ایمن‌تر هوش مصنوعی ترکیب کرده‌اند. رویکرد نوآورانه این گروه با موفقیت، داده‌های نادرست را قبل از اینکه بتوانند مجموعه داده‌های آموزشی را به خطر بیندازند، شناسایی و حذف کرد.

هادی امینی، محقق ارشد و استادیار در دانشکده علوم محاسبات و اطلاعات بنیادی موسسه نایت، می‌گوید: ما روشی ایجاد کرده‌ایم که می‌تواند کاربردهای زیادی برای تاب‌آوری زیرساخت‌های حیاتی، امنیت سایبری حمل و نقل، مراقبت‌های بهداشتی و موارد دیگر داشته باشد.

بخش اول این رویکرد جدید شامل یادگیری فدرال است. این روش منحصر به فرد برای آموزش هوش مصنوعی، از یک نسخه کوچک از یک مدل آموزشی استفاده می‌کند که مستقیما روی دستگاه شما آموزش می‌بیند و فقط به‌روزرسانی‌ها و نه داده‌های شخصی کاربر را با مدل جهانی روی سرور یک شرکت به اشتراک می‌گذارد. این روش اگرچه که حریم خصوصی را حفظ می‌کند، اما همچنان در برابر حملات داده‌های مسموم، آسیب‌پذیر است.

اروین مور (Ervin Moore)، کاندیدای دکترا در آزمایشگاه امینی و نویسنده اصلی این مطالعه، توضیح می‌دهد: تأیید اینکه آیا داده‌های کاربر قبل از رسیدن به مدل، صحیح یا نادرست است، چالشی برای یادگیری فدرال است. بنابراین، ما برای کاهش این نقص به فکر بلاکچین افتادیم.

بلاکچین که به دلیل نقشش در ارزهای دیجیتال مانند بیت‌کوین محبوبیت پیدا کرده است، یک پایگاه داده مشترک است که در شبکه‌ای از رایانه‌ها توزیع شده است. داده‌ها در بلوک‌هایی که به ترتیب زمانی روی یک زنجیره به هم متصل شده‌اند، ذخیره می‌شوند. هر کدام اثر انگشت خود و همچنین اثر انگشت بلوک قبلی را دارند که آن را عملا آن را ضد دستکاری می‌کند.

کل زنجیره از یک ساختار خاص پیروی می‌کند. این مانند یک فرآیند بررسی است تا اطمینان حاصل شود که بلوک‌های تصادفی اضافه نمی‌شوند. می‌توان آن را مانند یک چک لیست برای پذیرش داده در نظر گرفت.

محققان هنگام ساخت مدل خود از این قابلیت به نفع خود استفاده کردند. این مدل به‌روزرسانی‌های بلوک را مقایسه می‌کرد و محاسبه می‌کرد که آیا به‌روزرسانی‌ها به طور بالقوه سمی هستند یا خیر. به‌روزرسانی‌های بالقوه سمی ثبت شده و سپس از تجمیع شبکه حذف می‌شدند.

امینی، که همچنین رهبری تیم متخصصان امنیت سایبری و هوش مصنوعی دانشگاه فلوریدا را بر عهده دارد و در حال بررسی هوش مصنوعی امن برای سیستم‌های حمل و نقل متصل و خودران است، می‌گوید: گروه ما اکنون با همکاری مرکز ملی امنیت سایبری و تاب‌آوری حمل و نقل همکاری نزدیکی دارد تا از رمزگذاری کوانتومی پیشرفته برای محافظت از داده‌ها و سیستم‌ها استفاده کند. هدف ما تضمین ایمنی و امنیت زیرساخت‌های حمل و نقل و در عین حال استفاده از قدرت هوش مصنوعی پیشرفته برای بهبود سیستم‌های حمل و نقل است.

ارسال به دوستان
شاهکار مرسدس بنز در سال 1955 (عکس) آیا به پهلو می‌خوابید؟ توصیه‌های این متخصص هاروارد را از دست ندهید! آثار تخریب و ویرانی ناشی از اصابت موشک‌های ایران در رحوفوت در منطقه تل آویو (+عکس) موشک هایی که ایران شلیک کرد مدل های ۲۰ تا ۳۰ سال پیش بودند/ صبر کنید تا ایران ذخایر قدیمی خود را خالی کند آن وقت اوضاع جالب تر خواهد شد دختر دانشجو زیر عمل فوت کرد، پدرش خودکشی کرد هیولای ABT RS3-R؛ فرمول قدرتمند آئودی فقط 125 دستگاه(عکس) آیا برای لاغری کربوهیدرات باید از رژیم غذایی حذف شود؟ مزدا شیناری؛ تولد زبان طراحی "کودو"/ مزدا 3 و 6 از این خودرو الهام گرفته شدند (+عکس) دیشب در آسمان و زمین چه گذشت؟ فینیکس ون؛ خودرویی که طرفداران کمپرها در دهه 70 را شگفت زده کرد (+عکس) معماری خاص ترین کلبه چین؛ دسترسی فقط با قایق(+عکس) ماهشهر میزبان یک اثر برگزیده معماری/ رتبه‌ی دوم ششمین دو سالانه‌ی معماری ایران بخش عمومی(+عکس) قدرت تخریب یک موشک بالستیک قاره‌پیما چقدر است؟ فراری خاص به گیربکس والئو! (+عکس) لویجی کولانی؛ داوینچی صنعت طراحی خودرو و پدر منحنی‌ها (+عکس)