Защита от ИИ в Cloudflare затронула Googlebot — сайт лишился индексации
Дата публикации
11.08.2026
Владелец сайта, включивший в Cloudflare запрет на обучение ИИ, обнаружил, что Googlebot и Bingbot стали получать код 403 в ответ на запрос карты сайта. Официально подобные правила должны заработать только с 15 сентября, поэтому история пока выглядит как отдельный случай. Но повод заглянуть в настройки она даёт уже сейчас.
Жалоба на форуме и ответ Google
Участник сообщества r/SEO , что тестировал новую функцию Cloudflare AI Crawlers & Scrapers. Как только он выставил значение «блокировать» для категории AI Training, оба поисковых робота перестали добираться до файла sitemap и получали HTTP 403. Отключал запрет — доступ возвращался. Причину автор поста видит в том, что Cloudflare относит Googlebot и Bingbot к смешанной категории «поиск + обучение».
Выбор, вставший перед ним, звучал неуютно: либо разрешить использование контента для тренировки моделей и сохранить индексацию, либо держать запрет и мириться с ошибками для поисковых систем. Джон Мюллер из Google попросил написать ему напрямую, чтобы подробнее разобраться в ситуации.
Ещё один участник обсуждения предположил более банальное объяснение — поддельные боты, маскирующиеся под user-agent Googlebot. Автор с этим не согласился: по его словам, речь о том, что показывает сама панель Cloudflare. Со включённым Bot Fight Mode загрузка карты сайта завершается ошибкой 403, без него всё проходит, а в разделе AI Crawlers оба поисковых робота отмечены как автоматически заблокированные.
Что Cloudflare обещала на сентябрь
В документации компании указан иной график внедрения. С 15 сентября 2026 года для новых доменов начнут действовать : боты категорий Training и Agent будут блокироваться на страницах с рекламой, а Search останется разрешённым. Отдельно отмечено, что сканеры двойного назначения, которые одновременно индексируют сайт для поиска и собирают данные для обучения, попадут под блокировку во всех конфигурациях, включая старую опцию Block AI bots. Отказаться от новых значений можно до 15 сентября.
Поэтому сообщение с Reddit и выглядит странно: правило ещё впереди, а эффект якобы уже есть. Является ли это ошибкой в настройках конкретного сайта или чем-то другим — пока остается без ответа.
Почему владельцы сайтов вообще это включают
Причина в нагрузке. Cloudflare ранее показывала, сколько ИИ-ботов сканируют сайт ради одного посетителя — соотношение неутешительное для большинства проектов. К тому же автоматизированный трафик растёт в 8 раз быстрее человеческого, так что желающих закрутить гайки становится больше.
Проблема в том, что грубый запрет задевает и тех роботов, от которых зависит органический трафик.
Что стоит проверить в ближайшее время
Вот несколько действий, которые имеет смысл сделать до середины сентября:
- Зайти в Cloudflare, в раздел Bots, и посмотреть, какие категории отмечены как заблокированные;
- Проверить доступность sitemap.xml и нескольких ключевых страниц через инструмент проверки URL в Search Console;
- Просмотреть логи сервера на предмет ошибки 403 для Googlebot и Bingbot;
- Если панель предлагает отказ от новых типовых настроек — решить это осознанно, а не оставлять на потом.
Ситуация напоминает более широкую историю с тем, как сайты взаимодействуют с роботами: недавно Google и Cloudflare начали оценивать сайты на готовность к ИИ-агентам, и результаты для подавляющего большинства оказались неутешительными.
Комментарии