Cloudflare показала, скільки ШІ-боти сканують сайт заради одного відвідувача
Дата публікації
09.07.2026
1 липня 2026 року Cloudflare відкрила клієнтам Bot Management панель Attribution Business Insights. Для кожної ШІ-компанії вона зводить докупи дві цифри: скільки разів її краулери заходили на сайт і скільки живих читачів ця компанія повернула через посилання. в межах другого щорічного Content Independence Day. Цю подію Cloudflare влаштовує щоліта, де традиційно оголошує нові правила поводження з автоматизованим трафіком.
Панель Attribution Business Insights нічого не блокує. Вона доповнює наявні правила безпеки та показує цілісну картину тим, хто ухвалює бізнес-рішення: які компанії обходять сайт, що вони роблять із контентом і скільки трафіку повертають натомість.
Що саме показують цифри
Джін-Хі Лі й Олівер Пейн — автори — описують суть так. Колись пошуковик сканував сторінку, а потім надсилав на неї відвідувача, і цей обмін оплачував рекламу, підписки та партнерські доходи сайтів. Традиційні краулери зверталися до сторінки лише кілька разів на кожен приведений перехід. Для більшої частини ШІ-трафіку така рівновага зникла.
Cloudflare наводить співвідношення, зібрані в 2025 році під час першого Content Independence Day: від 118 до майже 50 000 обходів на один перехід. Виходить, робот на верхній межі діапазону міг звернутися до однієї сторінки десятки тисяч разів, перш ніж бодай один читач перейшов на неї з продукту тієї компанії.
Три типи ботів
Документація до інструменту ділить сканувальних роботів на три класи:
- Training — збирає матеріал, аби навчити майбутню версію мовної моделі.
- Search — оновлює бази, з яких система бере свіжий вміст, аби підкріпити відповідь.
- Agent — працює від імені конкретного користувача під час живого діалогу, коли той поставив запит і системі треба звернутися саме до цієї сторінки.
Кожну категорію можна переглядати за три періоди: добу, тиждень або місяць. Поряд Cloudflare показує загальний трафік ботів проти людського, перелік роботів за обсягом, країну походження кожного, спожиту смугу пропускання та статус — сайт його блокує, блокує частково чи пропускає.
Що це дає бізнесу
Cloudflare прямо позначає свою нову авдиторію — людей, які ведуть перемовини щодо ліцензій і відносин із постачальниками контенту. Раніше такі дані діставалися здебільшого безпековим фахівцям із їхніми правилами; тепер їх винесли туди, де ухвалюють комерційні рішення.
Ось приклад від самої компанії: власник сайту може прийти до однієї ШІ-фірми та показати, що її обсяг обходу вдвадцятеро більший за іншу, що вже платить за доступ до контенту, і на цих числах переглянути умови.
Того ж дня Cloudflare оголосила ще дві зміни. Перша — відхід від оплати за кожне сканування до моделі, де видавцеві платять, якщо його контент справді потрапив у відповідь. Друга — з 15 вересня 2026 року роботи Training і Agent автоматично блокуватимуться на сторінках із рекламою для доменів, які тільки-но приєднуються до мережі; Search-краулерам доступ лишають.
Сама панель Attribution Business Insights нічого з цього не виконує: вона показує картину, а діяти власник має через окремі правила безпеки. Втім розуміти, хто та навіщо читає ваш контент, корисно кожному, чий сайт приносить дохід. І що складнішою стає поведінка ШІ-краулерів, то більше важить якісне наповнення сайту та продумане SEO-просування.
Комментарии