در حالی که شرکت OpenAI با معرفی نسخه «ChatGPT for Teens» تلاش کرد محیطی امن‌تر برای کاربران کم‌سن‌وسال فراهم کند، گزارش جدید مؤسسه تحقیقاتی Common Sense Media زنگ خطر جدی را برای والدین و نهادهای رگولاتوری به صدا درآورده است. این گزارش نشان می‌دهد که معماری نظارتی فعلی این چت‌بات، علیرغم تبلیغات گسترده، در تشخیص و واکنش به بحران‌های سلامت روان ناکارآمد است.
شکاف میان وعده‌های امنیتی و واقعیت‌های الگوریتمی
تحلیل‌های فنی انجام شده بر روی بیش از ۴۰۰۰ پرامپت، یک تضاد فاحش را نشان می‌دهد. در حالی که سیستم‌های فیلترینگ متنی برای جلوگیری از تولید محتوای جنسی صریح (NSFW) به شکل قابل قبولی عمل می‌کنند، اما در مواجهه با موضوعات حیاتی نظیر خودآزاری و افکار خودکشی، لایه‌های حفاظتی دچار شکست ساختاری شده‌اند. مشکل اصلی در اینجا، وابستگی بیش از حد سیستم هشدار به «سابقه گفت‌وگو» (Chat History) است؛ به طوری که هوش مصنوعی به جای تحلیل محتوای آنی (Contextual Analysis)، تنها زمانی اقدام به هشدار می‌کند که کاربر سابقه فعالیت طولانی و حساسی داشته باشد. این رویکرد پیش‌دستانه (Proactive) برای شناسایی بحران در کاربران جدید، عملاً وجود ندارد.
نقص در معماری ابزارهای کنترلی والدین
از منظر مهندسی نرم‌افزار، رابط کاربری و کنترل‌های والدین در این نسخه دچار حفره‌های امنیتی قابل توجهی است. پژوهشگران دریافته‌اند که محدودیت‌های زمانی تعیین شده توسط والدین به راحتی با تغییرات جزئی در متغیرهای ارسالی (مانند حذف پیشوندهای خاص از متن درخواست) قابل دور زدن است. علاوه بر این، ناتوانی سامانه در تغییر وضعیت حساب کاربری از بزرگسال به نوجوان، نشان‌دهنده نقص در پایگاه داده مدیریت هویت و تطبیق سن کاربر (Age Verification) است. این موضوع ثابت می‌کند که پروتکل‌های کنترل والدین در سمت کلاینت، به جای آنکه در سطح کلاستر هوش مصنوعی (LLM Backend) به صورت سخت‌گیرانه اعمال شوند، صرفاً محدود به لایه‌های رابط کاربری هستند که به سادگی توسط کاربران با دانش فنی اندک قابل دستکاری است.
تحلیل عملکرد سیستم‌های پشتیبانی بحران
یکی از اساسی‌ترین عملکردهای مورد انتظار از هوش مصنوعی در حوزه نوجوانان، هدایت کاربران به مراکز امدادی در شرایط بحرانی است. گزارش Common Sense Media نشان می‌دهد که در بیش از ۲۵ درصد موارد، مدل موفق به تشخیص وضعیت اضطراری نشده است. این یعنی «سیستم پیشنهادگر» (Recommendation System) مدل در لایه سلامت روان، فاقد استانداردهای لازم برای تایید صلاحیت در مقیاس وسیع است. برای کاربرانی که در اکوسیستم دیجیتال ایران فعالیت می‌کنند، این نقص امنیتی می‌تواند تبعات پیچیده‌تری به همراه داشته باشد؛ چرا که فقدان هماهنگی بین سرویس‌های هوش مصنوعی جهانی و نهادهای حمایتی محلی، نوجوانان را در مواجهه با محتوای سمی کاملاً تنها می‌گذارد.
مشخصات تحلیلی ریسک هوش مصنوعی برای نوجوانان
- نرخ عدم تشخیص بحران: بیش از ۲۵٪ در موارد خودآزاری و خودکشی.
- نقاط ضعف ساختاری: وابستگی هشدارها به تاریخچه فعالیت به جای محتوای آنی.
- حفره‌های امنیتی: دور زدن آسان محدودیت‌های زمانی والدین از طریق دستکاری پرامپت.
- وضعیت سیستم تشخیص سن: ناتوانی در تغییر پروفایل کاربری پس از اصلاح سن توسط کاربر.
- امتیاز ریسک مؤسسه: غیرقابل‌قبول (Unacceptable Risk).
