مهندسی اعتماد در هوش مصنوعی؛ نقش زیرساخت‌های داده در رفتار مدل‌های Claude

در حالی که رقابت جهانی برای افزایش توانمندی مدل‌های زبانی بزرگ (LLM) به اوج خود رسیده است، چالش «اعتمادپذیری» و «شفافیت» در خروجی این مدل‌ها به دغدغه اصلی مهندسان تبدیل شده است. در آنتروپیک (Anthropic)، گورمیت ساران (Gurmeet Saran)، از اعضای ارشد فنی، با تمرکز بر ساختار داده‌ها در حال ایجاد زیرساختی است که نه تنها دقت پاسخ‌های Claude را تضمین می‌کند، بلکه معماری آن را برای بازرسی و نظارت در آینده آماده می‌سازد.

چرا observability در مدل‌های زبانی یک چالش مهندسی است؟

برخلاف دیتابیس‌های سنتی یا سرویس‌های وب که برای پایش و مانیتورینگ آن‌ها ابزارهای قدرتمندی در دسترس است، مدل‌های هوش مصنوعی «عاملی» (AI Agents) رفتارهای غیرخطی و پیچیده‌ای دارند. ساران معتقد است مشکل اینجاست که در LLMها، سیستم در حال تولید پاسخ در توالی‌هایی است که درک دقیق منبع اطلاعات و نحوه رسیدن به خروجی نهایی را دشوار می‌کند. او از استعاره پزشکی استفاده می‌کند: اگر ابزارهای اندازه‌گیری حیاتی یک بیمار کالیبره نباشند، حتی اگر اکثر داده‌ها درست به نظر برسند، تصمیمات در لبه‌های حساس سیستم منجر به فاجعه می‌شود. در هوش مصنوعی، این «ابزارهای اندازه‌گیری» همان خط لوله‌های داده هستند که به مدل خوراک می‌دهند.

معماری حریم خصوصی و امنیت: نه یک لایه بیرونی، بلکه هسته اصلی

درس‌هایی که ساران از دوران کاری خود در Yahoo، Intuit و Meta آموخته است، همگی بر یک اصل متمرکز هستند: حریم خصوصی و حکمرانی داده (Data Governance) نباید به صورت یک «وصله» بعد از طراحی سیستم به آن اضافه شود. به گفته ساران، این مفاهیم باید از همان لحظه نخست در معماری سیستم (Privacy by Design) تنیده شوند. در آنتروپیک، این موضوع حیاتی است؛ چرا که مدل‌های هوش مصنوعی باید بتوانند با داده‌های حساس کاربران کار کنند بدون اینکه این داده‌ها در معرض خطر قرار گیرند یا به صورت ناامن در سیستم منتشر شوند.

یکپارچگی داده‌ها؛ خلق منبع واحد حقیقت (Single Source of Truth)

ساران در طول دو دهه فعالیت خود، همواره با مشکل «تناقض در داده‌ها» در سازمان‌های بزرگ دست و پنجه نرم کرده است. او با پیاده‌سازی سیستم‌های مشابه Metric360 در متا و پروژه‌های مشابه در اینتویت، نشان داده است که تعریف دقیق متریک‌ها و ایجاد یک منبع واحد برای حقیقت، نه تنها یک مسئله مدیریتی، بلکه یک ضرورت فنی برای پایداری مدل‌های هوش مصنوعی است. اگر ورودی‌های یک مدل هوش مصنوعی دارای استانداردهای متفاوت در محاسبات باشند، خروجی مدل نیز به تبع آن دچار انحراف (Bias) یا عدم دقت خواهد شد.

آینده‌نگری؛ نقش استانداردها در هوش مصنوعی

ساران معتقد است که همان‌طور که ما برای ساختمان‌سازی یا تست نرم‌افزار استانداردهای جهانی داریم، دنیای هوش مصنوعی نیز به استانداردهایی نیاز دارد که فراتر از شرکت‌های خاص عمل کنند. او بر این باور است که نهادهایی مانند IEEE می‌توانند با ایجاد پل‌های ارتباطی بین مهندسان سراسر جهان و تدوین پروتکل‌های نظارتی، آینده‌ای را رقم بزنند که در آن شفافیت و اعتمادپذیری، ویژگی ذاتی مدل‌های هوش مصنوعی باشد، نه یک انتخاب تجاری.