Задача

Разработать веб-скрапинг решение для мониторинга появления новых объявлений на доске объявлений. Особенность: сайт имеет механизмы задержки фиксации товаров - результата с одного запроса недостаточно, нужно производить серию запросов для каждого объявления. Требуется обойти антифрод-системы по IP без использования дорогих мобильных прокси.

Технические требования

• Режим работы: Парсер получает ссылку на категорию с указанием города, выбранную клиентом, и непрерывно опрашивает указанную страницу (работа 24/7).
• Триггер мониторинга: Как только на доске появляется новый товар, система в реальном времени фиксирует его.
• Вывод данных: Отправка результата в Telegram-бота (ссылка на товар, название, цена и другие ключевые поля по модели данных площадки).
• Обход антифрода: Необходимо решение, которое не требует покупки (или делает минимальным использование коммерческих прокси). Прямое указание от заказчика: «только решив задачу по экологии IP можно делать выгодный бизнес».
• Стейк выделения доступов: Заказ клиентом тарифа = скорость его запросов:
  • 1 запрос/сек (обычный тариф)
  • 10 запросов/сек (максимальный тариф)
• [Вывод] За счёт многократных обращений к серверу достигается минимальная задержка появления объявления (чем чаще опрашиваешь, тем быстрее зал; с одним запрос эффект не наступает).

Экономический фактор

Целевая стоимость для заказчика: тариф 1 запрос/сек около 1500-2000 руб. На рынке уже 4 прямых конкурента, работающих на технологии запросов. Решения на API работают аналогично - значит техническое решение есть. Если использовать покупные дорогие мобильные прокси за 2500 руб., модель рушится - нужно, чтобы способ обхода был экономически оправдан (скидывание работы целиком на краулер с использованием выгодной инфраструктуры).

Критерии качества

• Скорость реакция от появления объявления до записи в канале: 1-2 минутная задержка (конкурент с API такая же). При многосегментном контенте гарантировать - до минуты.
• Ресурс работать должен в однопоточном режиме LIEP4 для исключения жора трафика клиентом.
• Минимальная потребность в поддержке - ежемесячная плюсовая абонентка рядом с разработки.