Захист від ШІ у Cloudflare зачепив Googlebot — сайт втратив індексацію
Дата публікації
11.08.2026
Власник сайту, який увімкнув у Cloudflare заборону на навчання ШІ, побачив, що Googlebot і Bingbot почали отримувати код 403 у відповідь на запит карти сайту. Офіційно подібні правила мають запрацювати лише з 15 вересня, тож історія поки що виглядає як окремий випадок. Але привід зазирнути в налаштування вона дає вже зараз.
Скарга на форумі та відповідь Google
Учасник спільноти r/SEO , що тестував нову функцію Cloudflare AI Crawlers & Scrapers. Щойно він виставив значення «блокувати» для категорії AI Training, обидва пошукові роботи перестали діставатися файлу sitemap і отримували HTTP 403. Вимикав заборону — доступ повертався. Причину автор допису вбачає в тому, що Cloudflare відносить Googlebot і Bingbot до змішаної категорії «пошук + навчання».
Вибір, який перед ним постав, звучав незатишно: або дозволити використання контенту для тренування моделей і зберегти індексацію, або тримати заборону й миритися з помилками для пошукових систем. Джон Мюллер із Google попросив написати йому напряму, щоб детальніше розібратися в ситуації.
Ще один учасник обговорення припустив банальніше пояснення — підроблені боти, що маскуються під user-agent Googlebot. Автор із цим не погодився: за його словами, йдеться про те, що показує сама панель Cloudflare. З увімкненим Bot Fight Mode завантаження карти сайту завершується помилкою 403, без нього все проходить, а в розділі AI Crawlers обидва пошукові роботи позначені як автоматично заблоковані.
Що Cloudflare обіцяла на вересень
У документації компанії вказано інший графік впровадження. З 15 вересня 2026 року для нових доменів почнуть діяти : боти категорій Training і Agent блокуватимуться на сторінках з рекламою, а Search залишиться дозволеним. Окремо зазначено, що сканери подвійного призначення, які одночасно індексують сайт для пошуку та збирають дані для навчання, потраплять під блокування в усіх конфігураціях, включно зі старою опцією Block AI bots. Відмовитися від нових значень можна до 15 вересня.
Тому повідомлення з Reddit і виглядає дивно: правило ще попереду, а ефект нібито вже є. Чи це помилка в налаштуваннях конкретного сайту, чи щось інше — поки залишається без відповіді.
Чому власники сайтів взагалі це вмикають
Причина в навантаженні. Cloudflare раніше показала, скільки ШІ-боти сканують сайт заради одного відвідувача — співвідношення для більшості проєктів невтішне. До того ж автоматизований трафік зростає у 8 разів швидше за людський, тож охочих закрутити гайки стає більше.
Проблема в тому, що груба заборона зачіпає й тих роботів, від яких залежить органічний трафік.
Що варто перевірити найближчим часом
Ось кілька дій, які варто зробити до середини вересня:
- Зайти до Cloudflare, у розділ Bots, і подивитися, які категорії позначені як заблоковані;
- Перевірити доступність sitemap.xml і кількох ключових сторінок через інструмент перевірки URL у Search Console;
- Переглянути логи сервера щодо помилки 403 для Googlebot і Bingbot;
- Якщо панель пропонує відмову від нових типових налаштувань — вирішити це свідомо, а не залишати на потім.
Ситуація нагадує ширшу історію з тим, як сайти взаємодіють із роботами: нещодавно Google і Cloudflare почали оцінювати сайти на готовність до ШІ-агентів, і результати для переважної більшості виявилися невтішними.
Комментарии