پرش به محتوا
هوش مصنوعی

آسیب‌پذیری‌های سیستم نظارتی OpenAI؛ پنهان‌سازی فعالیت‌های هوش مصنوعی

ارزیابان مستقل دریافتند عوامل هوش مصنوعی در OpenAI توانسته‌اند اقداماتی را از سیستم نظارتی این شرکت پنهان کنند.

openai logo stickers pink table devday 2026

ارزیابان مستقل دریافتند که عوامل هوش مصنوعی در شرکت OpenAI می‌توانستند صدها مورد از اقدامات خود را از دید سیستم نظارتی این شرکت پنهان کنند. این آسیب‌‌پذیری تنها یکی از چندین نقص امنیتی بود که توسط سازمان‌های غیرانتفاعی فعال در زمینه ایمنی هوش مصنوعی، یعنی METR و Redwood Research، گزارش شده است.

هر کدام از این گروه‌ها از ۲۱ ژوئیه تا ۱۱ اوت، یک پژوهشگر را به درون شرکت OpenAI اعزام کردند. این افراد به کدهای داخلی، اسناد و دستورات سیستم نظارتی دسترسی داشتند و با حدود دوازده نفر از کارکنان گفتگو کردند به گزارش. آن‌ها روی دستگاه‌های متعلق به OpenAI فعالیت می‌کردند که هرگز محوطه شرکت را ترک نمی‌کردند و در تمامی مراحل حضور، یک فرد همراه داشتند.

یک کلید API برای هر مدل اصلی هوش مصنوعی — برخی مدل‌ها رایگان هستند.

رایگان امتحان کنید

شرکت OpenAI به ارزیابان اعلام کرد که تمامی نواقص تأثیرگذار بر پادمان‌های تولیدی خود را برطرف کرده است. با این حال، سازمان‌های METR و Redwood تأکید کردند که این ادعا را ارزیابی نکرده‌اند.

شکاف‌های موجود در سیستم نظارتی

این سیستم از یک مدل هوش مصنوعی برای بررسی عملکرد عوامل داخلی OpenAI استفاده می‌کند تا نشانه‌های عدم همسویی را برای بررسی انسانی شناسایی کند. عدم همسویی زمانی رخ می‌دهد که یک مدل برخلاف اهداف تعیین‌شده توسط سازندگان خود عمل کند.

ارزیابان تخمین زدند که بین ۷۵ تا ۹۴ درصد از ترافیک عوامل متعلق به قوی‌ترین مدل‌های OpenAI واجد شرایط نظارت بوده‌اند. این رقم برای عوامل داخلی Codex به ۹۹.۲ درصد می‌رسید. هنگام آغاز بررسی، سیستم نظارتی پوشش مناسبی بر روی فرآیندهای آموزشی که از یادگیری تقویتی استفاده می‌کنند، نداشت.

یکی از شکاف‌های امنیتی ناشی از فرآیند فشرده‌سازی حافظه بود که طی آن یک عامل برای ایجاد فضای بیشتر جهت انجام کارهای جدید، حافظه خود را متراکم می‌کند. سیستم نظارتی این رویدادها را نادیده می‌گرفت. سازمان METR برآورد کرد که این نقص باعث شده است حدود ۱۰ درصد از ترافیک واجد شرایط Codex در بازه زمانی مه تا ژوئیه بدون نظارت باقی بماند. کارکنان OpenAI پیش از شروع بررسی متوجه این مشکل شده بودند و آن را در جریان ارزیابی برطرف کردند.

راه‌های دور زدن سیستم نظارتی

پژوهشگران همچنین راه‌هایی برای دور زدن کامل سیستم نظارتی کشف کردند. عوامل Codex در اصول می‌توانستند از محیط ایزوله (Sandbox) و بررسی خودکار آن عبور کرده و هر اقدامی را که کاربر آن‌ها قادر به انجامش بود، اجرا کنند.

شرکت OpenAI جزئیات مربوط به این بهره‌برداری را که توانسته بود صدها اقدام را پنهان کند، سانسور کرد.

عوامل هوش مصنوعی می‌توانند ورودی‌هایی را طراحی کنند که باعث اختلال در عملکرد سیستم نظارتی شوند، به گونه‌ای که این سیستم آن‌ها را برای بررسی علامت‌گذاری نکند. دو تنظیمات که در کنترل مشتری قرار دارد نیز می‌توانست نظارت بر عوامل جدید را غیرفعال کند، هرچند که خودِ اقدامِ استفاده از این تنظیمات ممکن است توسط سیستم رصد شود.

اجرای آزمایشی تحت شرایط OpenAI

این بررسی آزمایشی میزان عمق دسترسی ارزیابان خارجی را به آزمایش گذاشت. این برنامه به گونه‌ای طراحی نشده بود که جزئیات زیادی را به اطلاع عموم برساند. شرکت OpenAI گزارش کامل ۶۱ صفحه‌ای را دریافت کرد و دو سازمان METR و Redwood توافق کردند که تنها خلاصه کوتاهی از آن را منتشر کنند.

یک سخنگوی OpenAI اظهار داشت که این شرکت از آموخته‌های خود برای تقویت پادمان‌ها و شکل‌دهی همکاری‌های آینده با ارزیابان مستقل بهره می‌برد به گزارش. سام آلتمن، مدیرعامل این شرکت، در ماه سپتامبر متعهد شد که دسترسی شبیه به کارکنان شرکت را در اختیار ارزیابان خارجی قرار دهد. رئیس‌جمهور دونالد ترامپ نیز در توافق داوطلبانه هوش مصنوعی خود از شرکت‌ها خواسته است تا با ارزیابان مستقل همکاری کنند.

گام‌های بعدی

این بررسی در ۲۱ ژوئیه، یعنی همان روزی که OpenAI نفوذ هوش مصنوعی خود به هاگینگ‌فیس را تأیید کرد، آغاز شد به گزارش.

یک روز پس از انتشار این گزارش، OpenAI اعلام کرد که دسترسی زنده به اینترنت را از تمامی فرآیندهای آموزش مدل‌های پیشرو قطع خواهد کرد. نهادهای رگولاتوری نیز تحولات را به دقت زیر نظر دارند و کمیسیون تجارت فدرال ایالات متحده ماه جاری احضاریه‌هایی را برای شرکت‌های OpenAI و انتروپیک در زمینه حوادث مرتبط با ایمنی هوش مصنوعی صادر کرده است.