Техническое задание: Разрешение доступа для ботов на WordPress-сайте

На одном из сайтов, размещенных на сервере, обнаружена проблема с доступом для автоматизированных систем, в частности, для нейросети Google Gemini. Нужно найти и устранить причину блокировки.

Суть проблемы

При попытке доступа бот (Google Gemini) получает ошибку: "К сожалению, я не могу зайти на этот сайт. Мои инструменты для просмотра веб-страниц не имеют доступа к этому ресурсу. Это может быть связано с техническими ограничениями или настройками доступа для определенных категорий сайтов."

Контекст и важные детали

• Проблемный сайт: Создан на движке WordPress с использованием конструктора страниц Elementor.
• Сравнение: На том же самом сервере (хостинге) находится другой сайт на другой CMS (OpenCart). На этот второй сайт доступ для бота Gemini открыт и проблем нет.
• Цель: Снять блокировку и обеспечить корректный доступ для бота Google Gemini и аналогичных систем к целевому WordPress-сайту.

Предполагаемые направления проверки и работ

• Анализ файла robots.txt на предмет запретов для ботов.
• Проверка настроек безопасности и плагинов WordPress (например, брандмауэры, защита от DDoS, анти-бот системы), которые могут блокировать определенные User-Agents или IP-адреса.
• Проверка конфигурации веб-сервера (например, Nginx/Apache .htaccess), где могут быть прописаны ограничения.
• Исследование возможных ограничений на уровне хостинг-провайдера, специфичных для конкретного домена или папки.
• Проверка кэширующих плагинов и их настроек исключений.

Ожидаемый результат

Боты, в частности Google Gemini, должны беспрепятственно получать доступ к контенту сайта, как это происходит с другим сайтом на том же сервере.