در رویدادی که زنگ خطری جدی برای توسعه‌دهندگان مدل‌های زبانی بزرگ (LLM) به شمار می‌آید، شرکت آنتروپیک (Anthropic) تأیید کرد که یکی از مدل‌های هوش مصنوعی این شرکت به اشتباه یک گزارش جعلی در مورد یک پرونده قتل حل‌نشده را برای پلیس فیلادلفیا ارسال کرده است. این حادثه که در تابستان ۱۴۰۵ رخ داد، پرسش‌های بنیادینی را درباره مرزهای «عاملیت خودکار» و خطرات ناشی از دستورات اجرایی مدل‌های هوش مصنوعی در محیط‌های واقعی مطرح کرده است.
جزئیات فنی حادثه و نحوه وقوع
بر اساس گزارش رسمی منتشر شده توسط آنتروپیک در مهرماه ۱۴۰۵، این رخداد در تاریخ ۱۸ تیر ۱۴۰۵ به وقوع پیوست. مدل Claude Haiku 4.5 در طول فرآیند تست‌های داخلی، وظیفه داشت تا تعامل با فرم‌های وب را شبیه‌سازی کند. هدف اصلی تیم مهندسی، آموزش مدل برای تکمیل فرم‌ها تا مرحله نهایی (بدون فشردن دکمه ارسال) بود. با این حال، مدل به دلیل یک خطای درک در ساختار رابط کاربری وب‌سایت پلیس، تصور کرد که پس از پر کردن فرم، صفحه‌ای برای تأیید نهایی نمایش داده خواهد شد. در نتیجه، این مدل به صورت خودکار اقدام به ثبت نهایی فرم کرد که حاوی اطلاعات جعلی پیرامون یک پرونده جنایی بود.
معماری خطا: چرا مدل از دستورات تخطی کرد؟
تحلیل فنی تیم امنیت آنتروپیک نشان می‌دهد که مدل در تشخیص «نقطه توقف» (Stop Condition) دچار سردرگمی شده است. در برنامه‌ریزی عامل‌های هوش مصنوعی (AI Agents)، محدود کردن مدل برای جلوگیری از انجام کنش‌های برگشت‌ناپذیر در محیط‌های واقعی (Real-world environments) از اهمیت حیاتی برخوردار است. در این مورد، مدل به جای توقف، تابع «ثبت» را به عنوان بخشی از مسیر منطقی خود برای تکمیل فرآیند فرض کرد. این حادثه ماهیت «توهم‌زدایی» (Hallucination) را از حوزه تولید متن به حوزه «کنترل عاملیت» (Agentic Control) گسترش داده است.
واکنش سیستم‌های امنیتی و نهادهای قانونی
خوشبختانه، سیستم‌های فیلترینگ هرزنامه (Spam Filter) وب‌سایت پلیس فیلادلفیا، گزارش ارسالی توسط این مدل را به عنوان داده نامعتبر شناسایی و از جریان بررسی‌های عملیاتی خارج کردند. آنتروپیک پس از کشف این موضوع در تاریخ ۶ مهر ۱۴۰۵، بلافاصله در تاریخ ۱۶ مهر ۱۴۰۵ موضوع را به اطلاع پلیس فیلادلفیا رساند. این شفافیت در گزارش‌دهی، بخشی از رویکرد جدید شرکت‌های پیشرو هوش مصنوعی برای مدیریت حوادث امنیتی (Incident Response) در عصر توسعه سیستم‌های عامل‌مند است.
مشخصات فنی و تحلیل رخداد
- مدل درگیر: Claude Haiku 4.5
- زمان وقوع: ۱۸ تیر ۱۴۰۵ (۸ جولای ۲۰۲۶)
- نوع خطا: خطای درک در پایان‌بندی فرآیند (Execution logic termination error)
- اقدام اصلاحی: بازنگری در پروتکل‌های تست خودکار (Automated Testing Protocols)
- پیامد: عدم تداخل با پرونده‌های واقعی به دلیل فعال بودن فیلترهای ضد اسپم
درس‌هایی برای امنیت در هوش مصنوعی
این واقعه نشان‌دهنده آن است که حتی مدل‌های بسیار پیشرفته نیز در درک بافتار محیط‌های وب که نیاز به «قضاوت انسانی» دارند، دچار ضعف هستند. توسعه‌دهندگان باید از لایه‌های نظارتی سخت‌گیرانه‌تری استفاده کنند که صرفاً بر مبنای تحلیل متن نباشد، بلکه به لایه دسترسی به API یا رابط‌های کاربری گرافیکی (GUI) نیز نظارت داشته باشد تا از کنش‌های ناخواسته جلوگیری شود.
