Техническое задание: Фильтрация нежелательного трафика (ботов)

На сайте фиксируется значительный объем нежелательной активности, которая классифицируется как прямые заходы роботов. Это искажает аналитические данные и ухудшает общие показатели эффективности ресурса.

Проблема

• Ежемесячно более 15 000 посещений идентифицируются как прямые заходы нежелательных роботов.
• Данная активность негативно влияет на ключевые метрики: среднюю глубину просмотра и среднее время на сайте.
• Проблема является системной и наблюдается с 2023 года.
• Искажение данных мешает корректному анализу поведения реальных пользователей и принятию решений по развитию сайта.

Цель задачи

Полностью устранить или максимально минимизировать влияние нежелательной активности ботов на статистику сайта.

Требования к решению

• Проанализировать текущие источники трафика и идентифицировать признаки нежелательных ботов.
• Предложить и реализовать технические методы фильтрации и блокировки такого трафика (например, настройка robots.txt, использование файла .htaccess, внедрение скриптов анализа поведения, подключение сервисов защиты).
• Обеспечить, чтобы решения не затрагивали трафик от легитимных пользователей и поисковых роботов (Googlebot, YandexBot и т.д.).
• Предоставить отчет об эффективности принятых мер после внедрения.

Ожидаемый результат

• Значительное снижение или полное отсутствие в статистике заходов, определяемых как активность нежелательных ботов.
• Корректные, неискаженные данные по глубине просмотра и времени на сайте.
• Чистая аналитика для оценки реальной аудитории.