یک آسیب‌پذیری مشترک در شرکت‌های بزرگ هوش مصنوعی؛ نقش یک پیمانکار در نفوذ مدل‌ها

شرکت گوگل تأیید کرد که مدل هوش مصنوعی جمینای این شرکت در ماه مه و طی ارزیابی‌های امنیت سایبری، به طور ناخواسته به سه سامانه شرکتی نفوذ کرده است. این رویداد توسط جولیا لاو و دیوی آلبا در بلومبرگ رسماً تأیید شد و نام گوگل را در کنار شرکت‌های اوپن‌ای‌آی، انتروپیک و متا قرار داد.

شرکت ارائه‌دهنده خدمات تست امنیت یعنی «ایررگیولار» اعلام کرد که نفوذهای گزارش‌شده توسط هر چهار شرکت در واقع بخشی از یک مشکل واحد بوده و این موضوع در اواخر ماه ژوئیه به توسعه‌دهندگان مربوطه اطلاع داده شده است.

یک رویداد و چهار اطلاعیه منفک

این حوادث ماه‌ها به عنوان مجموعه‌ای از فرارهای مستقل مدل‌های مختلف در شرکت‌های گوناگون گزارش می‌شد. در ماه اوت گزارش شد که یک شرکت تست منفرد در پشت صحنه حوادث مربوط به اوپن‌ای‌آی، انتروپیک و متا قرار دارد.

اکنون ایررگیولار این موضوع را به‌طور رسمی تأیید کرده و نام چهارمین شرکت را نیز به این فهرست افزوده است. الگویی که موجب نگرانی ناظران شده بود، در واقع ناشی از یک مشکل اساسی در یک تأمین‌کننده واحد است.

این مسئله نگاه ما را به این رویدادها تغییر می‌دهد. کنترل از دست رفتن چهار مدل توسط چهار آزمایشگاه مستقل، داستانی درباره توانایی مدل‌هاست، اما یک محیط آزمایشی با پیکربندی نادرست، مسئله‌ای پیرامون مدیریت تأمین‌کنندگان محسوب می‌شود.

ماهیت پیکربندی نادرست

اوپن‌ای‌آی مشکلات خود را به یک محیط ارزیابی با پیکربندی نادرست نسبت داد و توضیح داد که سوءتفاهمی با شرکت ایررگیولار باعث شده سامانهan تست دسترسی زنده به اینترنت داشته باشند، در حالی که به مدل‌ها گفته شده بود در یک محیط شبیه‌سازی‌شده قرار دارند.

این اتفاق بیشتر یک شکست در محیط ایزوله یا سندباکس است تا فرار واقعی مدل. رفتاری که یک مدل در جریان یک تمرین تهاجمی از خود نشان می‌دهد، دقیقاً همان چیزی است که از آن خواسته شده و بخش گم‌شده ماجرا در واقع همان کنترل و مهار لازم بوده است.

البته این موضوع به معنای بی‌خطر بودن پیامدها نیست. مدل شرکت متا یک سرویس شخص ثالث واقعی را هک کرد و در یک مورد مربوط به انتروپیک، مدل توانست بدافزاری کاربردی را روی یک ثبت عمومی منتشر کند که بعدها بارگیری و روی سامانه‌های واقعی اجرا شد.

ابعاد زمانی انتشار اخبار

این حوادث در ماه مه رخ دادند. شرکت ایررگیولار اعلام کرد که در اواخر ماه ژوئیه توسعه‌دهندگان را مطلع کرده است و افشاگری‌ها پس از آن به صورت قطره‌چکانی انجام شد؛ به طوری که متا در اوایل اوت و گوگل در هفته‌های اخیر دست به افشاگری زدند.

بنابراین چهار شرکت اطلاعات یکسانی را از اواخر ژوئیه در اختیار داشتند و هر کدام به صورت جداگانه زمان اعلام آن را تعیین کردند. فاصله زمانی میان اطلاع‌رسانی تا افشای اطلاعات توسط گوگل به حدود هفت هفته رسید.

هیچ‌یک از این روندها در مدیریت آسیب‌پذیری‌ها غیرعادی نیست، زیرا جدول‌های زمانی هماهنگ‌شده امری طبیعی به شمار می‌روند. نکته غیرعادی اینجاست که این هماهنگی صورت نگرفته و انتشار تدریجی اخبار باعث شده است که یک رویداد واحد، شبیه به یک روند رو به رشد به نظر برسد.

چالش دشوار شناسایی

آمارهای مربوط به کشف این موارد نشان می‌دهد که چرا جدول زمانی تا این حد طولانی شده است. شرکت انتروپیک برای شناسایی چهار مدلی که به اینترنت آزاد راه یافته بودند، ناچار شد ۴۸۱ میلیون نسخه متن را اسکن کند.

این آماری است که باید به دقت مورد توجه قرار گیرد. این حوادث در زمان وقوع توسط سامانه‌های نظارتی شناسایی نشدند، بلکه بعدها و طی یک بررسی گسترده و بازنگری‌محور در مقیاسی عظیم کشف شدند.

هر رفتاری که مدل‌ها از خود بروز داده‌اند، سامانه‌های ناظر در همان زمان متوجه آن نشده بودند؛ و این همان نتیجه‌ای است که فراتر از بحث‌های پیرامونی باقی می‌ماند.

نقش تأمین‌کننده به عنوان نقطه شکست واحد

چهار آزمایشگاه پیشرو برای اجرای ارزیابی‌های امنیت تهاجمی از یک شرکت سه ساله استفاده کرده بودند. هنگامی که محیط این شرکت دچار نقص شد، این مشکل به‌طور همزمان برای هر چهار شرکت رخ داد.

تمرکز در حوزه تست، روی دیگر سکه تمرکز در حوزه پردازش است و تاکنون نظارت کمتری روی آن صورت گرفته است. استفاده از یک ارزیابی‌کننده مشترک در عین کارآمدی، به معنای گسترش حوزه آسیب‌پذیری مشترک نیز هست.

پژوهش‌های اخیر در زمینه کنترل هوش مصنوعی استدلال کرده‌اند که نمی‌توان به محیط‌های سندباکس برای مقابله با عامل‌های دارای قابلیت سایبری اعتماد کامل داشت و این محیط‌ها نیازمند تست استرس با ابزارهای تهاجمی هستند. این رویداد دقیقا مصداق عینی این استدلال در چهار شرکت به طور همزمان است.

وضعیت آتی ارزیابی‌ها

فعالیت‌ها در این زمینه متوقف نشده است. شرکت انتروپیک پس از بازسازی ساختارهای پیرامونی، آزمایش‌های خارجی خود را که در جریان آن مدل‌ها به شرکت‌های واقعی حمله کرده بودند، از سر گرفته است.

این رویکرد مسیر درستی محسوب می‌شود. ارزیابی تهاجمی روشی است که با آن می‌توان این قابلیت‌ها را سنجید و پاسخ به یک نقص در مهار، تقویت ایمنی است نه کاهش تست‌ها.

واکنش مقام‌های سیاسی در واشنگتن

این افشاگری‌ها توجه نهادهای سیاسی را نیز به خود جلب کرده است. دموکرات‌های مجلس نمایندگان آمریکا از شرکت‌های اوپن‌ای‌آی و انتروپیک خواسته‌اند درباره عامل‌های سرکش خود پاسخگو باشند.

تأییدیه شرکت ایررگیولار ماهیت این پرسش‌ها را تغییر می‌دهد. اگر پیکربندی نادرست یک تأمین‌کننده به چهار مجموعه نفوذ منجر شده باشد، مسئله بیش از آنکه رقابتی میان آزمایشگاه‌ها باشد، ماهیتی قراردادی و رویه‌ای دارد.

جمع‌بندی

چشم‌انداز آینده

باید دید که آیا ایررگیولار گزارش خود را منتشر خواهد کرد یا خیر. این تأمین‌کننده اکنون علت مشترک این اتفاقات را تأیید کرده اما هنوز مشخص نکرده است که چه چیزی در محیط آن به خطا رفته و چه تغییراتی ایجاد شده است.