Разработка системы мониторинга товаров

Необходимо создать программное решение для автоматического парсинга и отслеживания появления новых товаров на доске объявлений. Ключевая задача - обеспечить высокую скорость работы и обход систем защиты от автоматических запросов.

Основные требования к системе

• Стабильный и быстрый парсинг: Мониторинг новых товаров по ссылкам, предоставляемым клиентами (они самостоятельно выбирают категорию и город).
• Обход ограничений: Необходимо реализовать механизм обхода блокировок по IP, прокси и кукам. В среднем на каждого клиента приходится около 10 запросов в секунду. Решение должно быть экономически эффективным (не предполагать использование нового прокси на каждый запрос). Возможные варианты: работа с куками, сессиями, кешем, подмена параметров запросов.
• Уведомления: При обнаружении нового товара система должна отправлять данные в Telegram-бота. Информация включает ссылку на товар, цену, название и другие параметры.
• Скорость: Время от публикации товара до отправки уведомления должно составлять 0-1 минуту, что соответствует уровню конкурентов.
• Масштабируемость: Архитектура должна быть рассчитана на одновременную работу минимум 150 пользователей, каждый со своей уникальной ссылкой для парсинга.
• Использование API: Возможно использование API мобильной и веб-версий площадки для увеличения скорости парсинга.

Техническое задание (этапы)

1. Парсер: Разработка стабильного, быстрого парсера с обходом задержек и блокировок.
2. Поддержка и гарантия: Обеспечение долгосрочной поддержки и работоспособности программного обеспечения.
3. Исходный код: Предоставление полного исходного кода проекта.
4. Дополнительные модули: Последующая разработка простой онлайн-кассы, админ-панели и Telegram-бота (детали будут согласованы отдельно после реализации парсера).
5. Нагрузочная устойчивость: Гарантия стабильной работы системы при высокой одновременной нагрузке.

Условия сотрудничества

Проект рассчитан на долгосрочное сотрудничество. Предполагается оплата за создание системы и ежемесячная оплата за её техническую поддержку и обслуживание.