در ماه مهر ۱۴۰۵، جهان به لبه پرتگاه یک درگیری نظامی هستهای نزدیک شد؛ نه به دلیل ظهور یک «هوش مصنوعی فوقهوشمند» (Superintelligence) که بر جهان مسلط شده باشد، بلکه به واسطه تکیه غیرمسئولانه دولتها بر سیستمهای هوش مصنوعیِ بهشدت خطاپذیر در محیطهای حساس نظامی. این رخداد، زنگ خطری جدی برای سیاستگذاران در سراسر جهان است.
هوش مصنوعیِ خطاپذیر در برابر فانتزیهای سینمایی
تیمنیت گبرو و امیلی ام. بندر در تحلیل اخیر خود در گاردین، به یک شکاف عمیق در گفتمان عمومی فناوری اشاره میکنند. در حالی که افکار عمومی و قانونگذاران سرگرم سناریوهای تخیلیِ «هوش مصنوعی خودمختار» و نابودی نسل بشر هستند، خطر اصلی در حال حاضر در بطن سیستمهای فعلی نهفته است. گزارشهای منتشر شده در شهریور ۱۴۰۵ از سوی CNN نشان میدهد که یک گزارش اطلاعاتیِ تولید شده توسط یک چتبات، به اشتباه ادعا کرده بود که یک کشتی چینی حامل قطعات تسلیحات هستهای است.
جزئیات عملیات نزدیک به بحران
بر اساس گزارشهای فنی و نظامی منتشر شده، سیستمهای هوش مصنوعی با تحلیل دادههای ناقص، هشداری کاذب صادر کردند که منجر به واکنش فوری نهادهای نظامی ایالات متحده شد. در یک لحظه حساس، برنامهریزی برای رهگیری کشتی چینی با مشارکت هواپیماها و نیروهای پیادهنظام در جریان بود. اگر بازرسیهای ثانویه و مداخله انسانی در آخرین لحظات صورت نمیگرفت، این اشتباه محاسباتی میتوانست به یک درگیری نظامی مستقیم با یک ابرقدرت هستهای تبدیل شود و مسیر تاریخ را به سمت یک فاجعه جهانی تغییر دهد.
چالش اعتماد به سیستمهای بلکباکس (Black Box)
مشکل اساسی اینجاست که تولیدکنندگان این ابزارها، محصولات خود را با بازاریابیهای اغراقآمیز، در آستانه «فوقهوشمندی» جلوه میدهند. واقعیت فنی این است که این مدلها بر پایه احتمالات آماری و بدون درک واقعی از مفاهیم هستیشناختی (Ontological Understanding) عمل میکنند. تکیه بر خروجی این مدلها برای اتخاذ تصمیمات استراتژیک نظامی، عملاً به معنای سپردن امنیت جهانی به یک مولد متن است که مستعد توهم (Hallucination) است.
مشخصات فنی و تحلیل ریسک سیستمهای فعلی
- عدم قطعیت در مدلهای زبانی: مدلهای فعلی فاقد مکانیسم تایید واقعیت (Grounding) در محیطهای بلادرنگ هستند.
- خطای توهم (Hallucination): ترکیب دادههای غلط با اطمینان کاذب در ساختارهای زبانی، پدیدهای است که در مدلهای کنونی غیرقابل اجتناب است.
- فقدان شفافیت در زنجیره تامین: عدم اطلاع از منابع دادههای آموزشی (Training Data) که منجر به نتایج مغرضانه یا غلط میشود.
نتیجهگیری: لزوم بازنگری در حاکمیت فناوری
این حادثه نشان داد که تمرکز دولتها بر «تنظیمگری برای جلوگیری از نابودی بشر توسط هوش مصنوعی» یک فریب استراتژیک است. ما نیازمند قانونگذاری سختگیرانه بر روی کاربرد هوش مصنوعی در حوزههای «بحرانی» (Mission-Critical) مانند دفاع، پزشکی و زیرساختهای انرژی هستیم. هوش مصنوعی نباید در هیچ چرخه تصمیمگیری نظامی که قابلیت تبدیل به درگیری فیزیکی را دارد، به عنوان مرجع تصمیمگیرنده استفاده شود.