Задача

Необходимо реализовать механизм, при котором поисковые роботы (например, Googlebot, YandexBot) получают доступ к содержимому сайта для индексации, но при попытке прямого перехода по URL со стороны реального пользователя сайт блокируется или перенаправляется.

Основные требования

• Разграничение доступа: роботы работают штатно, люди - получают отказ (или пустую страницу).
• Защита от обхода: механизм должен корректно определять именно поисковых роботов, а не простые скрипты или прокси.
• Соответствие правилам поисковых систем: недопустимо использование скрытого текста или методов, ведущих к бану.

Ожидаемый результат

Сайт полностью индексируется поисковиками при обходе, но любой реальный пользователь, вбивающий адрес в браузер, не видит содержимого.

Область решения

• Подойдет решение на уровне сервера (nginx/apache, блокировка по User-Agent) или на уровне скриптов (PHP/Python/Node.js).
• Дополнительно можно реализовать проверку через обратную DNS-запись (PTR) для верификации роботов Яндекса и Гугла.