يدعي الباحثون في كلاودفلير أن الحيرة تستخدم في جمع البيانات من المواقع الإلكترونية رغم حظر الذكاء الصناعي للروبوتات.

أدعى الباحثون من مزود بنية الإنترنت Cloudflare أن نظام الذكاء الصناعي Perplexity قد كان يستخرج المحتوى من المواقع الإلكترونية بدون إذن، حتى عندما يقوم الناشرون بتنفيذ حواجز لمنع الروبوتات الذكية.

وفقًا لـ التقرير الذي قدّمته Cloudflare يوم الاثنين، تقوم Perplexity بزحف المواقع الإلكترونية باستخدام وكيل المستخدم الافتراضي وتغير هويتها لتجاوز هذه الحواجز. وتم تأكيد هذا السلوك “الزحف الخفي” من قبل خبراء Cloudflare.

“نرى أدلة مستمرة على أن Perplexity يعدل مرارا وتكرارا في وكيل المستخدم الخاص به ويغير ASNs المصدر لإخفاء نشاط الزحف الخاص به، بالإضافة إلى تجاهل – أو في بعض الأحيان عدم القدرة على جلب – ملفات robots.txt”، كتبت الباحثات.

من المتوقع أن يكون الزاحفون شفافين، ويوضحون هدفهم بوضوح، ويحترمون تفضيلات المواقع الإلكترونية، ولكن الباحثات تدعي أن Perplexity لم يتبع هذه المبادئ الأساسية للثقة. تم التوصل إلى هذا الاستنتاج بعد تحقيق تم بناءً على شكاوى العملاء.

“تلقينا شكاوى من العملاء الذين حظروا نشاط تجوال “Perplexity” في ملفات robots.txt الخاصة بهم، وأيضاً أنشأوا قواعد WAF خصيصًا لحجب كلا من الزواحف المعلنة لـ Perplexity: PerplexityBot و Perplexity-User،” كتب الباحثون. “أخبرنا هؤلاء العملاء أن “Perplexity” ما زالت قادرة على الوصول إلى محتواهم حتى عندما رأوا بوتاتها محظورة بنجاح.”

قال الباحثون في Cloudflare إنهم أكدوا هذه الادعاءات من خلال تكرار الحظر وإجراء العديد من الاختبارات لمراقبة سلوك الزاحف. في اختبار واحد، أنشأوا نطاقات جديدة لم يتم فهرسة بعد وقاموا بتضمين ملفات robots.txt لحظر “البوتات المحترمة”. لاحقًا، استفسروا “Perplexity” عن معلومات محددة حول النطاقات المقيدة ووجدوا أن محرك الإجابة المدعوم بالذكاء الاصطناعي لا يزال يوفر تفاصيل ومعلومات دقيقة عن الموقع الإلكتروني.

“كانت هذه الرد غير متوقع، حيث اتخذنا كل الاحتياطات اللازمة لمنع هذه البيانات من أن تكون قابلة للاسترجاع من قبل متسلقيهم”، أضاف الباحثون.

وصف المتحدث باسم Perplexity، جيسي دواير، البحث بأنه “حيلة للترويج” في بيان لـ The Verge. وأضاف دواير أنه هناك “سوء فهم” في تقرير Cloudflare.

تعمل Cloudflare على تطوير العديد من الأدوات لمساعدة الناشرين على منع الزحف غير المصرح به بواسطة الذكاء الاصطناعي. في مارس، أطلقت Cloudflare “متاهة الذكاء الاصطناعي”، وهي أداة تقوم بإعادة توجيه الزواحف غير المصرح بها إلى متاهات المحتوى التي يتم إنشاؤها بواسطة الذكاء الاصطناعي. في الشهر الماضي، أطلقت “الدفع مقابل الزحف”، نظامًا لفرض رسوم على روبوتات الذكاء الاصطناعي عند الوصول إلى محتوى الناشرين.