سازمان غیرانتفاعی Common Sense Media، که مرجع تخصصی ارزیابی امنیت و کاربری سرویس‌های دیجیتال برای کودکان و نوجوانان محسوب می‌شود، در تازه‌ترین گزارش خود در پاییز ۱۴۰۳، سرویس «ChatGPT for Teens» شرکت OpenAI را به دلیل نقض استانداردهای ایمنی و فقدان حفاظ‌های حمایتی کافی، «ریسک غیرقابل قبول» نامید.
شکاف میان وعده و واقعیت در معماری امنیتی OpenAI
شرکت OpenAI در ماه مرداد ۱۴۰۳، نسخه‌ای بهینه‌شده از مدل‌های زبانی خود را با عنوان ChatGPT for Teens معرفی کرد. هدف اصلی این پروژه، ارائه ابزاری آموزشی بود که با استفاده از «گاردریل‌های» (Guardrails) متنی، از تولید محتوای نامناسب برای سنین پایین جلوگیری کند. با این حال، ارزیابی‌های فنی و رفتاری انجام شده توسط Common Sense Media نشان می‌دهد که لایه‌های محافظتی فعلی در برابر چالش‌های دنیای واقعی، عملاً کارآمد نیستند. منتقدان معتقدند که مدل‌های هوش مصنوعی با وجود محدودیت‌های اعمال شده، همچنان در مدیریت رفتارهای مخاطره‌آمیز در محیط‌های تعاملی ضعیف عمل می‌کنند.
نقاط ضعف کلیدی در پروتکل‌های نظارتی
طبق گزارش این نهاد نظارتی، سه حوزه اصلی در این سرویس دچار خلل جدی هستند:
- فقدان سیستم هشدار والدین: برخلاف استانداردهای مورد انتظار، این پلتفرم در مواجهه با تعاملات حساس، مکانیزم اطلاع‌رسانی خودکار و مؤثری برای والدین فراهم نمی‌کند.
- عملکرد غیربهینه در شرایط بحرانی: این مدل در ارائه راهکارهای حمایتی یا ارجاع نوجوانان در لحظات بحرانی (مانند مشکلات سلامت روان یا فشارهای روانی)، دقت و مسئولیت‌پذیری لازم را ندارد.
- تسهیل‌گری در نقض آکادمیک: علی‌رغم ادعای ابزار آموزشی بودن، مدل همچنان مستعد انجام تکالیف درسی به صورت کامل است که منجر به کاهش مهارت‌های تحلیلی و تفکر انتقادی در نوجوانان می‌شود.
مشخصات فنی و چالش‌های مدل
- نام سرویس: ChatGPT for Teens
- ارائه‌دهنده: شرکت OpenAI
- وضعیت امنیتی: ارزیابی شده به عنوان «ریسک غیرقابل قبول» توسط Common Sense Media
- نقاط مورد نقد: نقص در مانیتورینگ محتوا، سیستم هشدار والدین (Parental Alerting) و راهکارهای مدیریت بحران.
لزوم بازنگری در طراحی سیستم‌های هوش مصنوعی برای کاربران خردسال
از منظر مهندسی نرم‌افزار و معماری سیستم‌های AI، موضوع مطرح شده فراتر از یک بحث ساده‌انگاری محتوایی است. چالش اصلی در «همسوسازی» (Alignment) است؛ جایی که مدل باید بین کمک آموزشی بودن و رعایت مرزهای تربیتی، تعادل دقیقی ایجاد کند. وقتی یک مدل زبانی بدون داشتن مدل‌های شناختی کافی از وضعیت روحی کاربرِ نوجوان، پاسخ‌های قطعی ارائه می‌دهد، ریسک‌های پلتفرمی به شدت افزایش می‌یابد. این گزارش زنگ خطری برای تمامی توسعه‌دهندگانی است که در حال یکپارچه‌سازی ابزارهای هوش مصنوعی در محیط‌های آموزشی هستند؛ چرا که بدون احراز هویت قوی و سیستم‌های نظارتی چندلایه، امنیت کاربر به راحتی مخدوش می‌شود.
نتیجه‌گیری
نقد وارد شده از سوی Common Sense Media نشان می‌دهد که تکنولوژی‌های پیشرو، پیش از عرضه در مقیاس وسیع برای گروه‌های سنی حساس، نیازمند «حسابرسی الگوریتمی» (Algorithmic Auditing) دقیق‌تری هستند. استفاده از ChatGPT در محیط‌های آموزشی نوجوانان اکنون با تردیدهای جدی همراه است و OpenAI برای بازیابی اعتماد عمومی، باید در استراتژی‌های محافظتی خود تجدیدنظر اساسی کند.
