در تحولی قابل‌توجه که نشان‌دهنده تغییر جهت استراتژی‌های تجاری در عصر هوش مصنوعی است، پلتفرم‌های پیشرو این حوزه یعنی ChatGPT و Perplexity برای نخستین بار در میان فهرست وب‌سایت‌هایی قرار گرفته‌اند که بیشترین حجم فعالیت «وب‌اسکریپینگ» (Web Scraping) را تجربه می‌کنند. این پدیده که در گزارش اخیر Decodo تحلیل شده است، نشان می‌دهد که چگونه اولویت‌های سازمان‌ها از رصد رفتارهای جستجوی کاربران به سمت تحلیل خروجی‌های هوش مصنوعی تغییر یافته است.
تغییر ماهیت داده‌کاوی: از رصد جستجو تا تحلیل پاسخ‌ها
تا پیش از سال ۱۴۰۳ شمسی، رویه معمول سازمان‌ها اسکریپ کردن موتورهای جستجو و پلتفرم‌های تجارت الکترونیک برای درک دغدغه‌ها و نیازهای مشتریان بود. با این حال، با فراگیر شدن ابزارهای هوش مصنوعی مولد، تحلیلگران دریافته‌اند که جریان اصلی اطلاعات دیگر در کوئری‌های خام کاربران نیست، بلکه در «پاسخ‌هایی» است که هوش مصنوعی به کاربران ارائه می‌دهد. مدیرعامل Decodo تأکید می‌کند که امروزه کسب‌وکارها اسکریپ می‌کنند تا ببینند «مردم چه چیزی را می‌شنوند و چه محتوایی به آن‌ها توصیه می‌شود».
تحلیل آماری و جایگاه غول‌های هوش مصنوعی
طبق داده‌های جمع‌آوری شده، تیک‌تاک همچنان با سهم ۱۸ درصدی در صدر لیست قرار دارد، اما حضور ChatGPT با سهم ۱۴ درصدی در رتبه سوم و Perplexity با سهم ۱۰ درصدی در رتبه پنجم، نشان‌دهنده یک زلزله در الگوهای ترافیک وب است. این فعالیت‌ها عمدتاً با اهداف زیر انجام می‌شوند:
- ارزیابی نحوه رتبه‌بندی محصولات یک برند خاص توسط هوش مصنوعی در مقایسه با رقبا.
- پایش مداوم لحن و محتوای ارائه شده درباره برندها (Brand Mentions).
- ثبت و تحلیل استنادهای (Citations) هوش مصنوعی به منابع خارجی.
- بررسی سوگیری‌های احتمالی در پاسخ‌های ارائه‌شده به کاربران.
خروج خرده‌فروشان سنتی و ظهور عوامل هوشمند
نکته تامل‌برانگیز این گزارش، خروج نام‌های بزرگی مانند Walmart و eBay از لیست ۱۰ وب‌سایت پربازدید برای ربات‌ها است. این موضوع نشان می‌دهد که تجارت الکترونیک سنتی در حال واگذاری سهم بازار رصد داده به جریان‌های مبتنی بر هوش مصنوعی و شبکه‌های اجتماعی است. همچنین کارشناسان پیش‌بینی می‌کنند که در سال‌های پیش رو، پلتفرم‌هایی مانند Gemini و Copilot نیز به جمع این لیست اضافه شوند.
جزئیات تحلیل وضعیت اسکریپینگ
- پلتفرم‌های صدرنشین: TikTok, Google, ChatGPT, Perplexity, Amazon.
- تغییر استراتژیک: جابجایی از تحلیل داده‌های تراکنشی به تحلیل داده‌های پاسخ‌محور (Response-driven data).
- پیش‌بینی آینده: واگذاری فرآیند تصمیم‌گیری برای اسکریپینگ از انسان به «عوامل هوشمند» (AI Agents).
ظهور عامل‌های هوشمند: پایان دوران اسکریپینگ دستی
در تحلیل نهایی این روند، انتظار می‌رود که فرآیند اسکریپینگ در آینده نزدیک توسط «عوامل هوشمند» (AI Agents) هدایت شود. اگر تا به امروز اسکریپینگ توسط اسکریپت‌های کلاسیک (مانند Python/BeautifulSoup یا Selenium) انجام می‌شد، در آینده نزدیک این عوامل هوشمند هستند که تصمیم می‌گیرند چه زمانی، از کجا و چه داده‌ای باید استخراج شود. این امر می‌تواند منجر به پیچیده‌تر شدن فرآیندهای امنیتی و تلاش پلتفرم‌ها برای مقابله با بات‌های هوشمند شود.
