Сайт получает трафик от ботов вместо целевых клиентов

Один из клиентов Habr столкнулся с ситуацией, когда рост органического трафика не приводил к увеличению заявок. Анализ только "Яндекс.Метрики" или Google Analytics не давал полной картины, поэтому было решено проанализировать серверные логи (access.log).

Изучение логов показало, что сайт посещают не только поисковые роботы Googlebot и YandexBot, но и боты от Ahrefs, Semrush, GPTBot, MJ12bot, DataForSEO, а также Chrome, который вёл себя нестандартно. Это свидетельствует о том, что большой объём трафика не является целевым и не может конвертироваться в заявки.

Важность такой глубокой аналитики заключается в возможности отличить реальные пользовательские визиты от запросов ботов, верифицировать настоящих поисковых роботов и понять, какие из них действительно приносят пользу, а каких стоит блокировать через robots.txt. Это позволяет оптимизировать расходы на серверы и концентрироваться на привлечении целевой аудифика.ции.