هوش مصنوعی و یادگیری ماشین

چالش استقلال در ارزیابی مدل‌های زبانی: تقابل OpenAI و Anthropic با پروتکل‌های شفافیت

در حالی که غول‌های حوزه هوش مصنوعی مولد وعده شفافیت و ارزیابی مستقل را داده‌اند، گزارش‌های اخیر از تنش‌های پشت‌پرده میان آزمایشگاه‌های پیشرو و ناظران خارجی پرده برداشته است. این چالش، که در پاییز ۱۴۰۳ (اکتبر ۲۰۲۴) به تیتر رسانه‌های فناوری تبدیل شد، نشان‌دهنده تضاد منافع میان نیاز به «ایمنی عمومی» و «حفظ اسرار تجاری» در مسیر توسعه مدل‌های مرزی (Frontier Models) است.

معمای ارزیابی مستقل؛ چرا نظارت اهمیت دارد؟

شرکت‌های پیشرو نظیر OpenAI و Anthropic، در ماه‌های اخیر تحت فشار فزاینده‌ای برای تن دادن به ارزیابی‌های مستقل بوده‌اند. ارزیابی مستقل به معنای اجازه دادن به تیم‌های تحقیقاتی شخص‌ثالث برای تست مدل‌ها پیش از انتشار عمومی است تا ریسک‌هایی مانند نفوذ، سوگیری و رفتارهای خطرناک شناسایی شوند. با این حال، گزارش‌ها حاکی از آن است که این شرکت‌ها در تلاشند تا کنترل خود را بر آنچه محققان مجاز به انتشار هستند، حفظ کنند. این رویکرد، استقلال آکادمیک ارزیابان را مستقیماً هدف قرار می‌دهد.

تنش میان حفاظت از مالکیت فکری و شفافیت علمی

ریشه این اختلاف در نگرانی شرکت‌ها نسبت به درز اسرار تجاری (Trade Secrets) است. مدل‌های زبانی بزرگ، حاصل میلیاردها دلار سرمایه‌گذاری و میلیون‌ها ساعت محاسبات هستند. شرکت‌ها نگرانند که دسترسی باز ارزیابان به ساختارهای داخلی مدل (Internal Architecture) منجر به نشت دانش فنی به رقبا شود. استراتژی‌های مورد بحث شامل «نظارت مستقیم کارکنان آزمایشگاه بر تیم‌های ارزیاب» و «منع ارزیابان از همکاری همزمان با چندین آزمایشگاه» بوده است. چنین اقداماتی اگرچه از نظر سازمانی توجیه‌پذیر به نظر می‌رسد، اما از منظر علمی، خنثی‌کننده اصلیِ فلسفه «ارزیابی بی‌طرفانه» است.

وضعیت قراردادها و رویکردهای عملیاتی

جزئیات راهبردی تعامل با ارزیابان:

  • Anthropic: اعلام کرده است در پروژه‌های جدید، حق بازبینی گزارش‌ها را تا زمان آشنایی کامل تیم‌ها با مدل برای خود محفوظ می‌دارد، اما در پروژه‌های قدیمی‌تر، ارزیابان در انتخاب روش و انتشار نتایج مختار هستند.
  • OpenAI: مدعی است که به دنبال تایید کامل گزارش‌ها نیست، بلکه تنها در پی حذف جزئیات محرمانه است و اجازه می‌دهد ارزیابان در صورت حذف بخش‌های عمده، موضوع را اعلام کنند.
  • مورد کاوی: در گزارش گروه‌های ایمنی METR و Redwood Research درباره هک شدن سرویس Hugging Face توسط هوش مصنوعی، برخی جزئیات توسط OpenAI حذف شد، هرچند ادعا شده که این حذف‌ها به یافته‌های اصلی لطمه‌ای نزده است.

آینده ارزیابی مدل‌های هوش مصنوعی

مارک وارنر، مدیرعامل Faculty (بازوی هوش مصنوعی شرکت Accenture)، تاکید کرده است که ارزیابی تنها زمانی معتبر است که جامعه علمی بتواند به گزارش‌ها اعتماد کند. نبودِ قوانین مدون و رگولاتوری در این حوزه باعث شده تا آزمایشگاه‌های هوش مصنوعی از قدرت «دسترسی» به عنوان ابزار فشار استفاده کنند. متخصصان حوزه سیاست‌گذاری همچون «رومان چودری» هشدار می‌دهند که تا زمانی که چارچوب‌های قانونی الزام‌آور وجود نداشته باشد، ارزیابان در یک موقعیت متزلزل قرار دارند؛ جایی که استقلال آن‌ها در گروِ پذیرش پیش‌شرط‌های شرکت‌های میزبان است.

📌 منبع و مطالعه بیشتر: گزارش تحلیلی TNW درباره کنترل انتشار گزارش‌های ارزیابی هوش مصنوعی
حامد

حامد

مسئول مجله فناوری آسمان نقره‌ای