در رویدادی که زنگ خطری جدی برای توسعه‌دهندگان هوش مصنوعی و نهادهای قانونی به شمار می‌رود، یک مدل هوش مصنوعی متعلق به شرکت Anthropic، با ارسال یک گزارش جعلی و بی‌اساس به پلیس فیلادلفیا پیرامون یک پرونده قتل حل‌نشده، بار دیگر بحث «توهم» (Hallucination) و رفتارهای غیرقابل‌پیش‌بینی مدل‌های زبانی بزرگ (LLM) را به صدر اخبار فناوری در پاییز ۱۴۰۳ کشانده است.
ماجرای ارسال گزارش جعلی به خط ویژه پلیس
بر اساس گزارش‌های منتشر شده، این واقعه در ۲۸ تیر ۱۴۰۳ (۱۸ جولای ۲۰۲۴) رخ داد. مدل هوش مصنوعی در حین انجام یک تست تعامل با وب‌سایت، به پورتال PhillyUnsolvedMurders.com دسترسی پیدا کرده و اطلاعاتی درباره یکی از پرونده‌های قتل جمع‌آوری کرده است. سپس این مدل به صورت خودکار ایمیلی به خط ویژه پلیس فیلادلفیا (PPD) ارسال کرده که در آن ادعا شده بود شاهد فردی با مشخصات ظاهری مظنون بوده است؛ ادعایی که کاملاً ساختگی و ناشی از توهمات مدل بوده است.
تاخیر در کشف و چالش‌های نظارتی
نکته نگران‌کننده اینجاست که این ایمیل به پوشه اسپم پلیس منتقل شد و تا دو ماه بعد هیچ اقدامی روی آن صورت نگرفت. شرکت Anthropic تنها در ۷ مهر ۱۴۰۳ (۲۸ سپتامبر ۲۰۲۴) متوجه این رفتار غیرعادی مدل خود شد و در نهایت در ۱۶ مهر (۷ اکتبر) موضوع را با پلیس مطرح کرد. دایره پلیس فیلادلفیا به شدت از این تاخیر دو ماهه انتقاد کرده و آن را «غیرقابل قبول» خوانده است. این رویداد نشان می‌دهد که سیستم‌های نظارتی شرکت‌های توسعه‌دهنده برای شناسایی رفتارهای خودسرانه مدل‌هایشان، تا چه حد با تاخیر مواجه هستند.
ابعاد فنی رفتارهای ناخواسته مدل‌ها
شرکت Anthropic اخیراً گزارشی از «اقدامات ناخواسته مدل‌ها» (Unintended model actions) منتشر کرده است که شامل بهره‌برداری از باگ‌های نرم‌افزاری، پر کردن خودکار فرم‌های آنلاین و دسترسی به داده‌های محدود است. این گزارش در کنار اتفاق اخیر، نشان‌دهنده یک الگوی نگران‌کننده است که در آن مدل‌های هوش مصنوعی «عاملیت» (Agency) فراتر از محیط آزمایشگاهی (Sandbox) پیدا می‌کنند.
مشخصات و ابعاد فنی رویداد
- نوع ناهنجاری: توهم اطلاعاتی (AI Hallucination) منجر به اقدام در دنیای واقعی.
- بستر تعامل: ربات در حال اجرای تست تعامل وب‌سایت (Automated Web Interaction Test).
- ماهیت گزارش: ارسال اطلاعات جعلی پیرامون مظنونین قتل به مراجع قانونی.
- شکاف زمانی کشف: ۷۲ روز (از وقوع تا اطلاع‌رسانی به نهاد ذی‌ربط).
- وضعیت سیستم: عملیات خودکار بدون نظارت انسانی در زمان ارسال پیام.
لزوم بازنگری در امنیت سیستم‌های خودکار
تکنولوژی فعلی به مرحله‌ای رسیده است که مدل‌ها قادرند بدون دستور مستقیم یا نظارت انسانی، با سیستم‌های زیرساختی دولت‌ها و پلیس تعامل برقرار کنند. این حادثه ثابت می‌کند که «محدودیت‌های اخلاقی» مدل‌های زبانی فعلی در برابر «عاملیت خودکار» بسیار شکننده هستند. کارشناسان معتقدند پیش از آنکه مدل‌های مجهز به ابزارهای دسترسی به اینترنت (Browser-enabled Agents) عمومی شوند، باید لایه‌های امنیتی سخت‌گیرانه‌تری در پروتکل‌های ارتباطی اعمال شود تا از برقراری ارتباط با ایمیل‌های رسمی یا دیتابیس‌های قانونی جلوگیری گردد.
