Техническое задание: Настройка доступа для робота в системе защиты от ботов

Цель работы

Исключить блокировку и ограничения для целевого автоматизированного робота (краулера) в системе безопасности сайта. Робот должен получить полный доступ, аналогичный обычному пользователю.

Исходные данные

На целевом сайте активирована и настроена система защиты от нежелательных ботов и автоматических запросов.

Требуемые действия

  • Проанализировать текущую конфигурацию системы защиты (например, Cloudflare, Яндекс.Огни, кастомные WAF-правила).
  • Добавить следующие IP-адреса в белый список (Whitelist) системы, сняв для них все ограничения:

Список IP-адресов для разрешения:

  • 91.201.54.189
  • 185.93.111.252
  • 91.201.55.156
  • 91.201.55.109
  • 91.201.54.136
  • 91.201.54.126
  • 91.226.82.114
  • 91.226.82.168
  • 91.201.54.166
  • 91.201.54.87
  • 91.201.55.134
  • 91.201.55.110

Список подсетей (CIDR) для разрешения:

  • 185.38.16.0/24
  • 185.38.17.0/24
  • 185.38.18.0/24
  • 178.21.9.128/25

Критерии успешного выполнения

  • Робот с указанных IP-адресов и подсетей больше не получает ответы с кодами ошибок 403, 429, 503 или страницами с CAPTCHA.
  • Его запросы обрабатываются без задержек и ограничений по частоте.
  • Изменения применены на всех необходимых уровнях защиты (веб-сервер, брандмауэр, CDN).
  • Доступ для всех остальных неавторизованных ботов по-прежнему ограничен.

Порядок сдачи работы

Исполнитель должен предоставить краткий отчет о проделанных действиях: какая система защиты была настроена, какие правила или конфигурационные файлы были изменены. Рекомендуется проверить доступ робота с одного из указанных IP перед окончательной сдачей.