تحلیل رفتار غیرمنتظره چت‌بات America.gov؛ پاسخ به سوالات ماینکرفت و شوخی با دیوان‌سالاری اداری

دولت ایالات متحده آمریکا اخیراً از نخستین چت‌بات هوش مصنوعی عمومی خود تحت دامنه America.gov رونمایی کرده است. با وجود اتخاذ تدابیر امنیتی سنگین جهت جلوگیری از حملات جیل‌بریک (Jailbreak)، کاربران اینترنت دریافتند که پرسش درباره بازی محبوب ماینکرفت (Minecraft) موجب ارائه مونولوگی ۱۸۰۰ کلمه‌ای و شبه‌فلسفی از سوی این سیستم می‌شود. اگرچه در نگاه نخست این رفتار شبیه به یک فروپاشی یا توهم بزرگ مدل‌های زبانی (LLM Hallucination) به نظر می‌رسید، اما بررسی‌های فنی نشان می‌دهد که این پاسخ تنها یک «ایستر اگ» (Easter Egg) یا ویژگی پنهان تعمدی است که بر پایه بازنویسی شعر پایانی بازی ماینکرفت توسعه یافته است.

معماری دستیار هوش مصنوعی America.gov و همکاری‌های تجاری

توسعه چت‌بات عمومی America.gov حاصل همکاری میان نهادهای دولتی آمریکا و غول‌های فناوری نظیر شرکت گوگل (Google) و مجموعه SpaceXAI است. طبق گزارش‌های منتشر شده، تیم مهندسی در طراحی سیستم حفاظتی این هوش مصنوعی سعی کرده‌اند مانع از خروجی‌های نامربوط، افشای اطلاعات یا تولید محتوای نامناسب شوند. با این حال، در بخش توسعه نرم‌افزار، ادوارد کریستین (Edward Coristine) ملقب به Big Balls، برنامه‌نویس ۲۰ ساله‌ای که سابقه حضور در پروژه DOGE متعلق به ایلون ماسک را دارد، به عنوان یکی از مهندسان ارشد پروژه معرفی شده است. حضور این نیروهای جوان در تیم‌های توسعه نرم‌افزار دولتی، زمینه را برای گنجاندن رفتارهای پنهان و ارجاعات فرهنگ وب در سامانه فراهم کرده است.

تحلیل فنی رفتار چت‌بات در مواجهه با پرامپت ماینکرفت

هنگامی که کاربر در سرویس America.gov درباره Minecraft پرسش مطرح می‌کند، مدل زبانی به جای ارائه خروجی‌های متعارف درباره بازی‌های ویدئویی، متنی ۱۸۰۰ کلمه‌ای را برمی‌گرداند. بخش‌هایی از این متن با لحنی پست‌مدرن به نقد ساختار اداری و فرم‌های دولتی می‌پردازد:

and the republic said you have filed the game well
and the republic said everything you need is within you, and also on USA.gov
and the republic said your case number is still valid
and the republic said the office is closed, please try again during business hours
and the republic said the darkness you fight is within you, and also a missing wet signature

از منظر مهندسی پرامپت و هوش مصنوعی، این خروجی حاصل «توهم آماری» نیست. متن یادشده بازنویسی مستقیم «شعر پایان» (End Poem) بازی ماینکرفت است که توسط جولیان گاف نوشته شده است. مهندسان سامانه با تزریق این متن به حافظه یا دستورالعمل‌های پایه (System Prompts) مدل، کاری کرده‌اند که کلمات کلیدی مرتبط با ماینکرفت، فرآیند تولید متن را به سمت این قطعه ادبی اصلاح‌شده هدایت کنند. مفاهیمی نظیر عدم امضای خیس (Wet Signature)، شماره پیگیری (Case Number)، ساعات کاری اداره و فرم‌های PDF به شکل هنرمندانه‌ای با درونمایه اصلی شعر پیوند خورده‌اند.

ابعاد امنیتی و عدم وقوع توهم در مدل‌های زبانی بزرگ

در ارزیابی سامانه‌های ابری و ابزارهای مبتنی بر الگوریتم‌های احتمالاتی، پدیده توهم (Hallucination) زمانی رخ می‌دهد که مدل زبانی بر اساس محاسبات ریاضی و زنجیره کلمات، اطلاعاتی غیرواقعی اما کاملاً موثق‌نما تولید کند. در سناریوی چت‌بات America.gov، وجود این مونولوگ طولانی به دلیل داشتن ساختار دقیق ادبی و حفظ وزن شعر، احتمال تولید خودکار توسط LLM را نفی می‌کند.

تیم‌های Red Teaming که وظیفه ارزیابی امنیتی این چت‌بات را بر عهده داشته‌اند، توانسته‌اند پایدار بودن سیستم را در برابر حملات تزریق پرامپت (Prompt Injection) حفظ کنند، هرچند دسترسی به این «ایستر اگ» نشان می‌دهد که فیلترهای خروجی (Output Guardrails) برای برخی عبارت‌های خاص به صورت تعمدی کنار گذاشته شده‌اند تا شوخی طراحان با کاغذبازی‌های اداری به نمایش درآید.