هوش مصنوعی و یادگیری ماشین

بحران پاسخگویی در عصر هوش مصنوعی عامل‌محور: چه کسی مسئول امنیت است؟

با گسترش خیره‌کننده نفوذ هوش مصنوعی (AI) و مدل‌های زبانی بزرگ (LLM) در زیرساخت‌های سازمانی، یک شکاف استراتژیک در مدیریت ریسک پدیدار شده است. گزارش اخیر PwC تحت عنوان «بینش اعتماد دیجیتال ۲۰۲۷» نشان می‌دهد که با وجود پذیرش گسترده ابزارهای هوش مصنوعی، سازمان‌ها هنوز در تعیین نهاد یا فرد مسئول برای حاکمیت و امنیت این فناوری دچار سردرگمی هستند.

سردرگمی در ساختار سازمانی برای پذیرش ریسک AI

تحقیقات شرکت PwC که در پاییز ۱۴۰۳ (اکتبر ۲۰۲۴) منتشر شد و دیدگاه‌های حدود ۴۰۰۰ رهبر کسب‌وکار در ۷۱ کشور را بررسی کرده، از یک حقیقت نگران‌کننده پرده برمی‌دارد: هیچ توافق جمعی بر سر اینکه مسئولیت اصلی مدیریت امنیت «هوش مصنوعی عامل‌محور» (Agentic AI) بر عهده کیست، وجود ندارد. در حالی که نیمی از سازمان‌ها موضوع امنیت هوش مصنوعی را به سطح هیئت‌مدیره کشانده‌اند، تنها ۳۳ درصد از آن‌ها به سمت ایجاد نقش‌های تخصصی مانند «مدیر ارشد هوش مصنوعی» حرکت کرده‌اند. این پراکندگی مسئولیت میان CIO، CTO، CISO و واحدهای مستقل، سازمان‌ها را در برابر تهدیدات نوظهوری نظیر LLMjacking و عوامل مخرب هوش مصنوعی آسیب‌پذیرتر کرده است.

چالش‌های امنیتی در دوران هوش مصنوعی عامل‌محور

هوش مصنوعی عامل‌محور فراتر از یک ابزار تحلیل ساده عمل می‌کند؛ این عامل‌ها اکنون به نقاط ورود جدیدی به شبکه‌های سازمانی تبدیل شده‌اند. برخلاف رویکردهای سنتی، این مدل‌ها دارای هویت، اعتبارنامه‌ها و سطوح دسترسی به منابع حساس هستند. بررسی‌ها نشان می‌دهد که ۲۹ درصد پاسخ‌دهندگان مسئولیت را بر عهده تیم‌های فناوری (CIO/CTO) و تنها ۱۷ درصد بر عهده تیم‌های امنیت (CISO) می‌دانند. این بار سنگین بر دوش مدیران فناوری فعلی، ضرورت ایجاد نقش جدیدی به نام «مدیر ارشد امنیت هوش مصنوعی» (CAISO) را بیش از پیش نمایان کرده است.

راهکار فنی: مدیریت هویت برای عامل‌های هوش مصنوعی

جیم تیلور، مدیر ارشد محصول و استراتژی در شرکت RSA، معتقد است که باید با عامل‌های هوش مصنوعی دقیقاً همانند کاربران انسانی برخورد کرد. او پیشنهاد می‌دهد که استانداردهای امنیتی دهه‌های گذشته باید برای این عامل‌ها نیز پیاده‌سازی شود:

  • مدیریت هویت (IAM): هر عامل هوش مصنوعی باید دارای هویت دیجیتال منحصر‌به‌فرد و اعتبارنامه‌های متصل به یک مالک انسانی باشد.
  • اصل اعتماد صفر (Zero Trust): دسترسی‌های مدل‌ها باید به حداقل ممکن محدود شود و تمامی اقدامات حساس نیازمند تأیید نهایی توسط اپراتور انسانی باشد.
  • مکانیزم Kill Switch: ایجاد سیستم‌های مرکزی برای نظارت، ثبت و در صورت نیاز، غیرفعال‌سازی فوری عامل‌هایی که خارج از چارچوب‌های امنیتی عمل می‌کنند.

خلاصه توزیع مسئولیت ریسک هوش مصنوعی (طبق گزارش PwC)

  • مدیران فنی (CIO/CTO): ۲۹٪
  • واحدهای اختصاصی هوش مصنوعی: ۲۶٪
  • تیم‌های امنیتی و CISO: ۱۷٪
  • مسئولیت مشترک یا نامشخص: ۱۱٪
  • سایر نقش‌های اجرایی: ۱۷٪

نتیجه‌گیری

سازمان‌ها نباید هوش مصنوعی را تنها به عنوان یک ارتقاء بهره‌وری ببینند؛ بلکه باید آن را به عنوان «کارمندانی جدید» در نظر بگیرند که نیاز به مدیریت ریسک، حکمرانی و نظارت دقیق دارند. ایجاد یک چهارچوب حاکمیتی که در آن مسئولیت‌های قانونی و امنیتی شفاف باشد، برای بقای امنیت دیجیتال شرکت‌ها در سال‌های پیش رو حیاتی است. عدم تعیین تکلیف این مسئولیت، نه تنها سازمان را در معرض نقض داده‌ها قرار می‌دهد، بلکه می‌تواند تبعات قانونی سنگینی به دلیل تخطی از پروتکل‌های انطباق (Compliance) به همراه داشته باشد.

📌 منبع و مطالعه بیشتر: گزارش کامل بینش اعتماد دیجیتال ۲۰۲۷ – PwC و ZDNET
حامد

حامد

مسئول مجله فناوری آسمان نقره‌ای