Cloudflare تحظر برمجيات الزحف متعددة الاستخدامات للذكاء الاصطناعي على المواقع المدعومة بالإعلانات

أعلنت Cloudflare يوم الأربعاء عن تغيير في سياستها يستهدف كيفية وصول شركات الذكاء الاصطناعي إلى محتوى الويب. واعتباراً من 15 سبتمبر 2026، ستقوم منصة الحوسبة السحابية ومزود خدمات الأمن بحظر “برمجيات الزحف متعددة الاستخدامات” (mixed-use crawlers) — التي تُعرفها بأنها برمجيات تمزج بين البحث واستخدام الوكلاء والتدريب — من الصفحات التي تستضيف إعلانات بشكل افتراضي. وقد يؤثر تغيير السياسة هذا على كيفية وصول مزودي نماذج الذكاء الاصطناعي إلى محتوى الويب لأغراض التدريب والخدمات الوكيلة (agentic services). وستُطبق الإعدادات الافتراضية الجديدة على عملاء Cloudflare الجدد، والمواقع الجديدة التي ينشئها العملاء الحاليون، وجميع العملاء الحاليين في الخطط المجانية.

ويعود قرار الشركة جزئياً إلى أوجه القصور في حركة مرور الويب الآلية الحالية. ووفقاً لـ Cloudflare، فإن ما يزيد عن 50% من حركة الزحف الصادرة عن برمجيات الذكاء الاصطناعي تُستهلك في إعادة جلب صفحات لم يطرأ عليها أي تغيير. ويؤدي هذا النشاط إلى استهلاك النطاق الترددي وموارد الحوسبة الخاصة بالناشرين. وقال Matthew Prince، المؤسس المشارك والرئيس التنفيذي لشركة Cloudflare: “الآن بعد أن أصبحت غالبية حركة المرور على الإنترنت غير بشرية، يجب علينا المضي قدماً والتحرك بشكل أسرع حتى يظهر نظام بيئي مستدام”. ولمعالجة هذه المشكلة، تعمل Cloudflare أيضاً على تطوير أداة “Pay Per Crawl” الخاصة بها — وهي سوق تتيح للمواقع فرض رسوم على روبوتات الذكاء الاصطناعي مقابل استخراج البيانات — لتتحول إلى نموذج “Pay Per Use”. ويسمح هذا النموذج المطور للناشرين بفرض رسوم على شركات الذكاء الاصطناعي عندما يُنشئ محتواهم قيمة، بدلاً من الاكتفاء بفرضها عند جلب المحتوى فقط. وتتعاون Cloudflare في البداية مع Ceramic.ai و You.com لتنفيذ نظام تحقيق الدخل هذا.

كما تتناول السياسة بشكل مباشر هيمنة محركات البحث على السوق. وتدّعي Cloudflare أن Google، أكبر محرك بحث في العالم، تجعل من الصعب على العملاء البقاء قابلين للاكتشاف دون أن يتم استخدامهم لأغراض الذكاء الاصطناعي. وبشكل محدد، تزعم Cloudflare أن مزود البحث هذا لديه وصول إلى ما يقرب من 2x من المعلومات مقارنة بشركات الذكاء الاصطناعي الأخرى بسبب هذه الممارسات. وفي حين أشارت Google سابقاً إلى روبوت Google Extended الخاص بها كوسيلة لأصحاب المواقع لإلغاء الاشتراك في تدريب الذكاء الاصطناعي دون التأثير على ظهورهم في بحث Google، فإن Googlebot الخاص بها يواصل الزحف لأغراض البحث وميزات الذكاء الاصطناعي المتكاملة. وذكر Prince أن الشركة تأمل في أن تشجع تغييراتها الافتراضية المقترحة برمجيات الزحف متعددة الاستخدامات على فصل وظائف البحث عن استخدام الوكلاء والتدريب.

لماذا يهم

تعمل Cloudflare على تغيير ديناميكيات القوة من خلال إجبار شركات الذكاء الاصطناعي على التمييز بين روبوتات البحث وروبوتات التدريب، مع تحقيق الدخل من محتوى الناشرين في الوقت نفسه من خلال نموذج “Pay Per Use” المطور.