Cloudflare показала, сколько ИИ-боты сканируют сайт ради одного посетителя
Дата публикации
09.07.2026
1 июля 2026 года Cloudflare открыла клиентам Bot Management панель Attribution Business Insights. Для каждой ИИ-компании она сводит воедино две цифры: сколько раз её краулеры заходили на сайт и сколько живых читателей эта компания вернула по ссылкам. в рамках второго ежегодного Content Independence Day. Это мероприятие Cloudflare устраивает каждое лето, где традиционно объявляет новые правила обращения с автоматизированным трафиком.
Панель Attribution Business Insights ничего не блокирует. Она дополняет действующие правила безопасности и показывает целостную картину тем, кто принимает бизнес-решения: какие компании обходят сайт, что они делают с контентом и сколько трафика возвращают взамен.
Что именно показывают цифры
Джин-Хи Ли и Оливер Пейн — авторы — описывают суть так. Когда-то поисковик сканировал страницу, а затем отправлял на неё посетителя, и этот обмен оплачивал рекламу, подписки и партнёрские доходы сайтов. Традиционные краулеры обращались к странице лишь несколько раз на каждый приведённый переход. Для большей части ИИ-трафика такое равновесие исчезло.
Cloudflare приводит соотношения, собранные в 2025 году во время первого Content Independence Day: от 118 до почти 50 000 обходов на один переход. Получается, робот у верхней границы диапазона мог обратиться к одной странице десятки тысяч раз, прежде чем хотя бы один читатель перешёл на неё из продукта той компании.
Три типа ботов
Документация к инструменту делит сканирующих роботов на три класса:
- Training — собирает материал, чтобы обучить будущую версию языковой модели.
- Search — обновляет базы, из которых система берёт свежий контент, чтобы подкрепить ответ.
- Agent — работает от имени конкретного пользователя во время живого диалога, когда тот задал запрос и системе нужно обратиться именно к этой странице.
Каждую категорию можно просматривать за три периода: сутки, неделю либо месяц. Рядом Cloudflare показывает общий трафик ботов против человеческого, перечень роботов по объёму, страну происхождения каждого, израсходованную полосу пропускания и статус — сайт его блокирует, блокирует частично либо пропускает.
Что это даёт бизнесу
Cloudflare прямо обозначает свою новую аудиторию — людей, которые ведут переговоры о лицензиях и отношениях с поставщиками контента. Раньше такие данные доставались в основном специалистам по безопасности с их правилами; теперь их вынесли туда, где принимают коммерческие решения.
Вот пример от самой компании: владелец сайта может прийти к одной ИИ-фирме и показать, что её объём обхода в 20 раз больше, чем у другой, которая уже платит за доступ к контенту, и на этих цифрах пересмотреть условия.
В тот же день Cloudflare объявила ещё два изменения. Первое — отказ от оплаты за каждое сканирование в пользу модели, где издателю платят, если его контент действительно попал в ответ. Второе — с 15 сентября 2026 года роботы Training и Agent будут автоматически блокироваться на страницах с рекламой для доменов, которые только-только подключаются к сети; Search-краулерам доступ оставляют.
Сама панель Attribution Business Insights ничего из этого не выполняет: она показывает картину, а действовать владелец должен через отдельные правила безопасности. Впрочем, понимать, кто и зачем читает ваш контент, полезно каждому, чей сайт приносит доход. И чем сложнее становится поведение ИИ-краулеров, тем важнее качественное наполнение сайта и продуманное SEO-продвижение.
Комментарии