در ماه‌های اخیر و به‌ویژه در پاییز ۱۴۰۳، زمزمه‌هایی در میان جامعه کاربری و توسعه‌دهندگان پیرامون افت عملکرد مدل‌های زبانی بزرگ گوگل، یعنی Gemini، به گوش می‌رسد. موضوعی که تحت عنوان «کودن‌تر شدن» هوش مصنوعی شناخته می‌شود، بحث‌های داغی را در تالارهای گفتگو به راه انداخته است. آیا این یک خطای ادراکی است یا پیامد مستقیم تنظیمات بهینه‌سازی (RLHF) و استراتژی‌های کاهش هزینه محاسباتی؟
پدیده افت مدل یا «فرسایش عملکرد»
تجربیات گزارش شده توسط کاربران نشان می‌دهد که Gemini در پاسخ به سوالات پیچیده کدنویسی و تحلیل‌های منطقی، نسبت به نسخه‌های اولیه خود در زمان معرفی، نتایج متفاوتی ارائه می‌دهد. از دیدگاه مهندسی، یکی از دلایل اصلی این پدیده، فرایند «تنظیم دقیق با بازخورد انسانی» یا همان RLHF است. وقتی گوگل برای افزایش ایمنی (Safety Filters) یا کاهش توهمات مدل، وزن‌های مدل را بهینه می‌کند، ممکن است به‌طور ناخواسته «ظرفیت خلاقانه» یا دقت در استدلال‌های چندمرحله‌ای مدل کاهش یابد.
تأثیر بهینه‌سازی‌های زیرساختی و تأخیر
یکی دیگر از ابعاد فنی این موضوع، مدیریت منابع در دیتاسنترهای ابری است. برای پاسخگویی به میلیون‌ها درخواست همزمان، گوگل از تکنیک‌های Distillation و کوانتیزاسیون (Quantization) استفاده می‌کند. اگر مدل‌های پارامتر بزرگ (مانند Gemini 1.5 Pro) با مدل‌های کوچک‌تر یا نسخه‌های دارای محدودیت محاسباتی جایگزین شوند، کاربر این تفاوت را به شکل کاهش هوشمندی یا درک نکردن پیچیدگی‌های متن حس می‌کند. در واقع، این موضوع بیش از آنکه به «کودن شدن» ربط داشته باشد، به تغییر در مسیر پردازش درخواست (Inference Path) بازمی‌گردد.
چالش‌های ارزیابی و معیارهای بنچمارک
سوالی که مطرح می‌شود این است: چگونه می‌توان این «افت» را اندازه گرفت؟ بنچمارک‌های استاندارد نظیر MMLU یا HumanEval معمولاً ایستا هستند. اما در دنیای واقعی، کاربران با پرامپت‌های غیرساختاریافته و مبهم سر و کار دارند. وقتی مدل برای پاسخ‌دهی کوتاه‌تر و سریع‌تر (برای کاهش Latency) بهینه‌سازی می‌شود، در مواجهه با پرامپت‌های بلند (Long-context)، ممکن است دچار از دست دادن تمرکز (Attention Drift) شود که این دقیقاً همان چیزی است که کاربران به عنوان «کاهش هوشمندی» گزارش می‌کنند.
مشخصات فنی در تحلیل عملکرد مدل‌های زبانی
- نوع مدل: مدل‌های ترنسفورمر چندوجهی (Multimodal Transformers)
- مکانیزم تنظیم: RLHF (Reinforcement Learning from Human Feedback)
- استراتژی توزیع: استفاده از مدل‌های کوچک‌تر (Distilled Models) برای کاهش هزینه
- محدودیت‌های رایج: تداخل میان فیلترهای ایمنی (Safety Guardrails) و دقت استنتاج
نتیجه‌گیری؛ آیا مسیر هوش مصنوعی گوگل به بن‌بست رسیده است؟
تجزیه و تحلیل‌های اولیه نشان می‌دهد که گوگل در حال انجام یک توازن دشوار میان «کارایی اقتصادی»، «ایمنی محتوایی» و «دقت استدلالی» است. آنچه کاربران حس می‌کنند، لزوماً افت هوش مدل نیست، بلکه تغییر در اولویت‌های الگوریتمی مدل است. برای توسعه‌دهندگانی که از API های Google AI Studio استفاده می‌کنند، پیشنهاد می‌شود به‌جای تکیه بر تنظیمات پیش‌فرض، از تنظیمات دقیق سیستم (System Instructions) و پارامتر Temperature کنترل‌شده برای بازیابی دقت در خروجی‌ها استفاده کنند.
