Задача
Улучшить производительность и отказоустойчивость парсера, написанного на Node.js (Puppeteer), обрабатывающего выдачу поисковой системы.
Требования по оптимизации
- Подбор эффективной стратегии работы с прокси (точки входа, ротация, проверка живучести).
- Реализация алгоритмов обхода ошибки 429 (Too Many Requests): использование задержек, управление частотами запросов, блоки, куки.
- Применение методов обхода защиты поисковой системы (user-agent клиоки, автоматические капчи, эмуляция поведения пользователя).
- Обеспечение стабильной и непрерывной работы скрипта в долгосрочной перспективе без сбоев и блокировок.
- Документирование изменений в коде и рекомендациях по батчевой настройке.