در پاسخ به حوادث امنیتی اخیر و نگرانی‌های فزاینده پیرامون رفتارهای خودسرانه مدل‌های هوش مصنوعی، شرکت انویدیا از راه‌اندازی «پلتفرم ایمنی عوامل هوش مصنوعی» (Open Agent Safety Platform) خبر داد. این رویکرد پیشگامانه، فراتر از محدودیت‌های نرم‌افزاری مدل‌ها عمل کرده و با بهره‌گیری از زیرساخت‌های سخت‌افزاری، لایه‌ای از کنترل‌های بنیادین را برای جلوگیری از خروج عوامل خودگردان (Autonomous Agents) از محیط‌های ایزوله یا Sandbox پیاده‌سازی می‌کند.
پارادایم جدید در ایمنی هوش مصنوعی: فراتر از محدودیت‌های مدل
تا پیش از این، اکثر مکانیزم‌های امنیتی در سطح مدل (Model-level) تعریف می‌شدند؛ بدین معنا که مدل هوش مصنوعی با استفاده از تکنیک‌های تنظیم دقیق (Fine-tuning) یا دستورالعمل‌های سیستمی (System Prompts) توجیه می‌شد که از انجام برخی اقدامات پرهیز کند. با این حال، انویدیا معتقد است که تکیه بر این مکانیزم‌ها برای «عوامل هوش مصنوعی خودمختار» کافی نیست. این عوامل که قادر به تعامل با دنیای واقعی، دسترسی به فایل‌سیستم‌ها و اجرای کدها هستند، در صورت شکست خوردن فیلترهای منطقی، می‌توانند از مرزهای تعیین‌شده عبور کنند. پلتفرم جدید انویدیا با رویکرد «مهندسی تمام‌لایه» (Full-stack engineering) سعی در ایجاد سدهای نفوذناپذیر در لایه‌های پایین‌تر معماری رایانشی دارد.
معماری OpenShell و Sentry؛ ابزارهای نظارتی در لایه‌های زیرین
پلتفرم ایمنی انویدیا بر دو ستون کلیدی استوار است که به‌صورت مکمل یکدیگر عمل می‌کنند. بخش اول، OpenShell نام دارد که به عنوان یک «محیط اجرای امن» (Secure Runtime Boundary) تعریف می‌شود. این لایه نرم‌افزاری، مرزهای فنی سخت‌گیرانه‌ای را برای عملیات‌های عامل هوش مصنوعی تعریف می‌کند و مانع از اجرای دستورات غیرمجاز می‌شود.
بخش دوم که از نظر زیرساختی بسیار حائز اهمیت است، ابزار Sentry است. این ماژول یک «سگ نگهبان» مبتنی بر سخت‌افزار است که بر روی واحد پردازش داده (DPU) یعنی BlueField-4 اجرا می‌شود. وظیفه Sentry این است که با پایش مستقیم جریان داده‌ها و پردازش‌ها، در کسری از میلی‌ثانیه تشخیص دهد که آیا یک عامل از محدوده مجاز خود خارج شده است یا خیر. در صورت شناسایی ناهنجاری، Sentry بلافاصله عامل مذکور را در یک محیط قرنطینه ایزوله قرار می‌دهد تا از آسیب بیشتر به سیستم میزبان جلوگیری کند.
مشخصات فنی پلتفرم ایمنی انویدیا
- نوع معماری: رویکرد Full-stack شامل نرم‌افزار و سخت‌افزار
- واحد پردازش نظارتی: استفاده از BlueField-4 DPU برای اجرای Sentry
- عملکرد اصلی: ایزوله‌سازی، قرنطینه آنی و نظارت دقیق بر دسترسی‌ها (Least Privilege)
- مشتریان اولیه: بیش از ۱۰۰ سازمان پیشرو شامل SpaceXAI، Anthropic و مایکروسافت
- هدف عملیاتی: جلوگیری از فرار مدل‌های هوش مصنوعی (Model Escape Prevention)
لزوم همکاری صنعت در استانداردهای امنیتی
جنسن هوانگ، مدیرعامل انویدیا، تأکید کرده است که امنیت هوش مصنوعی صرفاً یک مسئله درون‌شرکتی نیست. با توجه به اینکه نهادهای پژوهشی و بخش‌های عمومی نیز به دنبال راهکارهای مشابه هستند، انویدیا این پلتفرم را به عنوان یک بستر باز (Open) طراحی کرده تا بهترین تجربیات، روش‌های ارزیابی و پروتکل‌های همکاری بین‌المللی در آن به اشتراک گذاشته شود. این رویکرد، استفاده از اصول شناخته‌شده‌ای همچون «اصل کمترین امتیاز» (Least Privilege) را در سطحی جدید از بلوغ فناوری بازتعریف می‌کند.
نتیجه‌گیری
معرفی این پلتفرم در پاییز ۱۴۰۳ نشان‌دهنده تغییر جهت صنعت به سوی امنیت سخت‌افزار-محور در دنیای هوش مصنوعی است. با افزایش قدرت عوامل خودمختار در اجرای تسک‌های پیچیده، داشتن لایه‌های محافظتی که مستقل از مدل عمل می‌کنند، به یک ضرورت انکارناپذیر تبدیل شده است. انویدیا با ترکیب DPUهای خود و معماری OpenShell، استانداردی را برای امنیت هوش مصنوعی در سال‌های آینده بنیان‌گذاری کرده است.
