Техническое задание: разработка парсера с обходом блокировок

Цель проекта

Создать надежное и автоматизированное решение для сбора данных с двух популярных интернет-ресурсов. Ключевой вызов - преодоление систем защиты от автоматического доступа.

Основные задачи

Задача 1: Работа с API в режиме инкогнито

• Необходимо реализовать обращение к защищенному API-эндпоинту одного из сайтов.
• Основная сложность заключается в получении или генерации корректных cookies для доступа.
• Требуется найти решение, которое позволит либо выполнять запросы без использования cookies, либо полностью автоматически генерировать необходимые куки в каждом сеансе.
• Желательно протестировать подход на запросе к категориям в контексте доставки.

Задача 2: Устойчивость к блокировкам

• Решение должно быть стабильным и обходить стандартные методы обнаружения ботов.
• Алгоритм должен работать в полностью автоматическом режиме без ручного вмешательства.

Требования к решению

• Полная автоматизация процесса.
• Устойчивость к изменениям в защите целевых сайтов.
• Четкая и понятная документация к коду.