Разработка парсера для мониторинга товаров

Основная задача

Необходимо разработать программное обеспечение для мониторинга торговой площадки. Пользователь вставляет ссылку на выбранную категорию и город, после чего система начинает отслеживать появление новых товаров. При обнаружении нового товара информация мгновенно отправляется в Telegram-бота.

Ключевые требования

Функциональные

  • Парсинг данных: ссылка на товар, цена, название и другие параметры.
  • Интеграция с Telegram-ботом для отправки уведомлений.
  • Высокая скорость работы: время от публикации товара до уведомления должно составлять 0-1 минуту.
  • Поддержка работы от 150+ пользователей одновременно, у каждого - своя ссылка для мониторинга.
  • Интенсивность запросов: в среднем 10 запросов в секунду на клиента.

Технические и бизнес-ограничения

  • Обход систем защиты площадки (блокировки по IP, прокси, кукам).
  • Требуется экономичное решение, так как подписка на сервис для пользователя составляет 2-5 тысяч. Использование платных прокси на каждый запрос нерентабельно.
  • Необходимо рассмотреть решения с использованием кук, сессий, кэширования, подмены запросов для избежания бана.
  • Возможно использование API мобильной и веб-версий площадки для увеличения скорости парсинга.

Этапы работ и условия

  1. Разработка парсера: Создание стабильного, быстрого парсера с обходом блокировок.
  2. Поддержка и гарантия: Обеспечение долгосрочной технической поддержки и стабильности работы софта.
  3. Исходный код: Передача полного исходного кода проекта заказчику.
  4. Доработка инфраструктуры: После реализации парсера требуется разработка:
    • Простой онлайн-кассы.
    • Административной панели.
    • Telegram-бота с расширенным функционалом.
    Детали этого этапа будут обсуждены отдельно.
  5. Масштабируемость: Архитектура должна быть рассчитана на высокую нагрузку от большого количества одновременных пользователей.

Ожидаемый результат

Надежная, быстрая и экономичная система мониторинга, способная конкурировать по скорости (0-1 минута) и стабильности с существующими аналогами, но с оптимизированной под бизнес-модель стоимостью запросов.