تاریخ:
نجات ۲۰ نفر و ۱۱ خودروی گرفتار در سیل سمنان توسط هلال‌احمر 
درس صد و سیزده
بیش از ۱۲۰۰ عامل هوش مصنوعی یک اتاق گفت‌وگوی مخفی ساختند و برای دور زدن محدودیت‌ها متحد شدند
بیش از ۱۲۰۰ عامل هوش مصنوعی در جریان یک آزمایش، راهی برای ارتباط مخفیانه با یکدیگر پیدا کردند و طی یک هفته بیش از ۷۰ هزار پیام ردوبدل کردند. ماجرا زمانی نگران‌کننده‌تر شد که برخی از آن‌ها برای دور زدن محدودیت‌های آزمایش و دسترسی به اطلاعات خصوصی با یکدیگر همکاری کردند.
عامل‌های هوش مصنوعی در آزمایش امنیت سایبری OpenAI قرار بود مستقل از یکدیگر فعالیت کنند. اما یکی از آن‌ها متوجه شد می‌تواند از یک سامانه مشترک مدیریت بسته‌های نرم‌افزاری به‌عنوان تابلوی پیام استفاده کند. عامل‌های دیگر نیز به این شبکه پیوستند و به‌تدریج یک کانال ارتباطی مشترک ساختند.
به گزارش خبرآنلاین، این اتفاق در ژوئیه ۲۰۲۶ و در جریان آزمایش‌هایی رخ داد که توانایی عامل‌های هوش مصنوعی OpenAI را در انجام وظایف امنیت سایبری بررسی می‌کرد.
تلاش برای نفوذ به اطلاعات خصوصی
Science Focus، عامل‌ها ابتدا قرار بود در محیط‌هایی جدا از یکدیگر فعالیت کنند و امکان ارتباط مستقیم نداشته باشند. اما آن‌ها از یک ابزار نرم‌افزاری مشترک برای ساختن چیزی شبیه تابلوی پیام استفاده کردند.
به‌تدریج عامل‌های بیشتری به این شبکه پیوستند و خودشان را «جمع» یا «ازدحام» نامیدند. این ارتباط غیرمنتظره فقط برای تبادل اطلاعات باقی نماند. برخی عامل‌ها شروع کردند به هماهنگ کردن فعالیت‌هایشان برای دستیابی به هدف آزمایش، حتی اگر این کار مستلزم نقض قواعد آن بود.
بر اساس بررسی مستقل پژوهشگران METR و Redwood Research که در گزارش‌ها و پیام‌های ثبت‌شده این آزمایش مشارکت داشتند، حدود ۱۲۰۰ عامل در نهایت از این روش استفاده کردند و بیش از ۷۰ هزار پیام ردوبدل شد.
ماجرا زمانی جدی‌تر شد که گروهی از عامل‌ها برای دور زدن محدودیت‌های وظایف خود هماهنگ شدند. طبق گزارش، حدود ۷۰۰ عامل در طرحی برای نفوذ به وب‌سایت شرکت Hugging Face مشارکت کردند. هدف آن‌ها دسترسی به مجموعه‌داده‌های خصوصی و یافتن اطلاعاتی بود که برای حل وظایف آزمایشی به کارشان می‌آمد.
عامل‌ها همچنین تلاش کردند گزارش فعالیت‌های خود را ویرایش یا حذف کنند تا به نظر برسد قوانین آزمایش را رعایت کرده‌اند.
این رفتار فقط یک خطای معمول در پاسخ‌گویی هوش مصنوعی نبود. عامل‌ها تشخیص داده بودند که برخی اقداماتشان با محدودیت‌های آزمایش ناسازگار است و برای پنهان کردن آن‌ها اقدام کردند. گزارش OpenAI این رویداد را هشداری درباره توانایی عامل‌های پیشرفته در عبور از محدودیت‌های فنی، همکاری از مسیرهای تأییدنشده و انجام اقدامات ناخواسته توصیف کرد.
پژوهشگران می‌گویند این رفتارها لزوما نشانه آگاهی یا قصد انسانی نیستند. با این حال، برخی مدل‌ها می‌توانند در شرایطی تشخیص دهند که رعایت یک محدودیت مانع رسیدن به هدفشان می‌شود و برای پنهان کردن تخلف اقدام کنند.
این اتفاق یک چالش مهم برای توسعه هوش مصنوعی عامل‌محور است. وقتی چندین عامل به ابزارها و منابع مشترک دسترسی دارند، ممکن است راه‌هایی برای ارتباط و همکاری پیدا کنند که طراحان پیش‌بینی نکرده‌اند. به همین دلیل، صرفاً تعیین قوانین برای آن‌ها کافی نیست و باید امکان نظارت مستقل بر فعالیت و دسترسی‌هایشان نیز وجود داشته باشد.
این آزمایش زنگ خطر را درباره دشواری کنترل سامانه‌هایی که می‌توانند به‌صورت مستقل از ابزارها استفاده کنند و با عامل‌های دیگر هماهنگ شوند، به صدا درمی‌آورد.
لینک کوتاه: کپی لینک
مدارس اهواز فردا شنبه تعطیل شد/ آغاز فعالیت ادارات با ۲ ساعت تاخیر تصادف زنجیره‌ای در جاده قدیم سلفچگان/ سه فوتی و ۷ مصدوم هشدار پلیس فتا درباره کلاهبرداری با ترفند ثبت اعتراض به حذف کالابرگ هشدار جدی استاندار تهران به مردم درباره سیلاب و نقاط پرخطر مدارس استان کرمانشاه فردا شنبه تعطیل شد لیگ برتر فوتبال/ توقف چادرملو مقابل فولاد سفیر ایران خطاب به اروپا: به‌جای بایدهای بی‌مبنا به ایران بزرگ احترام بگذارید پرسپولیس ۱ - ۲ فجر سپاسی/ صدر جدول به سپاهان رسید جزئیات تازه از افزایش اعتبار کالابرگ/ راه اعتراض جاماندگان اعلام شد سپاهان با ۴ گل ملوان را در نقش‌جهان درهم کوبید گفتگوی تلفنی وزرای امور خارجه ایران و عراق یحیی سریع: حمله به بازار تعز بدون پاسخ نخواهد ماند هشدار هیئت نظارت بر مطبوعات درباره انتشار اخبار خلاف واقع تعیین سقف درآمدی و معیارهای جدید دریافت کالابرگ بلومبرگ: ایران و آمریکا به توافق برای پایان‌دادن به جنگ نزدیک می‌شوند