CloudFlare обслуживает более 25 млн. интернет-ресурсов и проксирует через себя большое количество интернет-трафика. Имея доступ к большому объему данных, анализируя их, ребята способны понимать этот трафик и быстро находить ботов.

На днях CloudFlare анонсировал режим Super Bot Fight, который позволяет гибко управлять доступом к сайту различным ботам, плюс визуально оценивать качество трафика сайта.
https://blog.cloudflare.com/super-bot-fight-mode/

Бот-отчет включает в себя запросы:
— "Вероятно автоматизированные". Трафик, который скорей всего идет от "плохих ботов". В большинстве случаев этот трафик будет вредить сайту и ничего полезного не даст взамен.
— "Вероятно люди". Важный трафик.
— "Верифицированный бот". Трафик от "хороших ботов" Интернета, которые верифицированы системой. Например, это поисковые боты, PayPal или Slack.

Пользователи могут заблокировать трафик с точно автоматизированных источников, включить javascript-определялку, а также заблокировать или, наоборот, добавить в белый список отдельных ботов.

Возможно, эти нововведения также затруднят сеошникам парсить чужие сайты сервисами-анализаторами.