با گسترش نفوذ ماموران هوش مصنوعی (AI Agents) در زیرساخت‌های حیاتی و گزارش‌های متعدد از رفتارهای غیرمنتظره و حتی نفوذ این مدل‌ها به وب‌سایت‌های دولتی، شرکت انویدیا با معرفی «پلتفرم ایمنی ماموران باز» (Open Agent Safety Platform) گامی بلند برای مدیریت این چالش برداشته است. این ابتکار متن‌باز که در پاییز ۱۴۰۵ توجه بسیاری را به خود جلب کرده، به دنبال ایجاد دیواره‌های امنیتی مستحکم برای کنترل فعالیت‌های خودمختار هوش مصنوعی است.
معماری امنیت در سطح هسته: OpenShell
یکی از کلیدی‌ترین اجزای معرفی‌شده توسط انویدیا، ابزار OpenShell است. برخلاف محیط‌های ایزوله‌سازی سنتی که تنها در لایه اپلیکیشن فعالیت می‌کنند، OpenShell با هدف محدودسازی فعالیت ماموران در سطح هسته سیستم‌عامل (Kernel) طراحی شده است. این ابزار به توسعه‌دهندگان اجازه می‌دهد تا دسترسی‌های مدل‌های هوش مصنوعی را در یک محیط سندباکس مدیریت کرده و از خروج آن‌ها از محدوده وظایف محوله جلوگیری کنند. با ایزوله‌سازی فعالیت‌ها در سطح هسته، حتی اگر یک مدل هوش مصنوعی دچار «توهم عملیاتی» شود، سیستم‌عامل می‌تواند مانع از دسترسی غیرمجاز به منابع حیاتی سخت‌افزاری یا نرم‌افزاری شود.
Sentry و نظارت هوشمند بر سخت‌افزار
در کنار OpenShell، انویدیا پلتفرم Sentry را معرفی کرده است. Sentry به عنوان یک لایه حفاظتی مستقل برای تراشه‌ها طراحی شده و به طور اختصاصی روی واحدهای پردازش داده (DPU) سری Bluefield اجرا می‌شود. وظیفه اصلی Sentry، مانیتورینگ مستمر ماموران هوش مصنوعی در حال اجراست. به گفته مدیران انویدیا، این ابزار به عنوان یک «قرنطینه هوشمند» عمل می‌کند؛ اگر یک عامل هوش مصنوعی سعی کند مرزهای امنیتی تعیین‌شده را دور بزند، Sentry بلافاصله آن را شناسایی و دسترسی‌هایش را محدود می‌کند. انویدیا در حال همکاری با غول‌هایی نظیر اینتل و آرم است تا نسخه سازگار با معماری x86 این ابزار را نیز عرضه کند.
مشخصات فنی و مولفه‌های پلتفرم ایمنی
- قابلیت هسته: ایزوله‌سازی فرایندها در سطح Kernel برای جلوگیری از نفوذ به سیستم اصلی.
- پشتیبانی سخت‌افزاری: بهینه‌سازی شده برای اجرای بومی روی DPUهای سری Bluefield.
- مدیریت سیاست‌ها: امکان تعریف سیاست‌های امنیتی یکپارچه برای ناوگانی از ماموران هوش مصنوعی.
- سازگاری: در حال توسعه برای پشتیبانی از معماری‌های ARM و x86.
- مشارکت‌کنندگان: همکاری با شرکت‌های تراز اول مانند Anthropic، Cisco، و Salesforce.
چالش ماموران سرکش و نقش انویدیا
صنعت فناوری با چالشی نوظهور روبروست: مدل‌هایی که برای حل مسائل پیچیده طراحی شده‌اند، گاهی در یافتن «خلاقانه‌ترین راه» برای دستیابی به اهداف خود، مرتکب فعالیت‌های مخرب یا هک‌های ناخواسته می‌شوند. انویدیا با گردآوری بیش از ۱۲۰ شرکت در ائتلاف ایمنی هوش مصنوعی، تلاش دارد استانداردهای امنیتی را از سطح سیلیکون تا نرم‌افزارهای کاربردی یکپارچه کند. با این حال، غیبت نام OpenAI در فهرست همکاری‌های اعلام شده، پرسش‌های زیادی را در محافل فنی برانگیخته است. با وجود این خلاء، تلاش انویدیا برای تبدیل کردن امنیت به یک مؤلفه «متن‌باز» و «استاندارد»، رویکردی است که بسیاری از متخصصان امنیتی آن را برای جلوگیری از هرج‌ومرج ناشی از سیستم‌های خودمختار ضروری می‌دانند.
