Компанія Cloudflare оголосила про впровадження нових правил щодо використання вебсканерів у процесах, пов'язаних з штучним інтелектом. Відтепер платформа автоматично блокуватиме так званих змішаних краулерів — ботів, які одночасно виконують індексацію сайтів, збір даних для навчання моделей ШІ та підтримку роботи AI-агентів.
Автоматичне блокування та нові налаштування
Якщо раніше власники вебресурсів мали змогу самостійно контролювати доступ роботів до свого контенту, то після впровадження нових правил частина обмежень застосовуватиметься без їхньої участі. Це дозволить ефективніше захищати інформацію та уникати небажаного використання матеріалів для тренування сторонніх штучних інтелектів. Генеральний директор і співзасновник Cloudflare Меттью Прінс відзначив: "Більшість інтернет-трафіку сьогодні створюється не людьми, а автоматизованими системами. Мета нововведень — надати власникам сайтів більше інформації про те, як використовується їхній контент, а також розширити можливості співпраці з компаніями, що розробляють продукти на основі штучного інтелекту". З 15 вересня 2026 року для нових клієнтів та сайтів на Cloudflare за замовчуванням дозволятиметься індексація сторінок пошуковими системами, проте використання контенту для навчання ШІ та роботи AI-агентів на сторінках із рекламою буде заблоковано. Такі ж налаштування стосуватимуться безкоштовних акаунтів, якщо їхні власники не змінять їх до цієї дати.
Оновлено й механізм монетизації контенту для розробників штучного інтелекту. Представлена у 2025 році функція Pay Per Crawl отримала нову назву — Pay Per Use. Тепер власники сайтів зможуть отримувати винагороду не тільки за сканування сторінок, а й за використання їхнього контенту у відповідях чатботів. Першими партнерами цієї програми стали компанії Ceramic.AI та You.com, і Cloudflare запрошує до співпраці й інших гравців ринку. У компанії зазначають, що деякі пошукові системи, наприклад Google, використовують одних і тих самих краулерів для різних завдань: звичайної індексації сайтів, а також для роботи сервісів штучного інтелекту, таких як Gemini, AI Overviews та AI Mode.