Техническое задание: Парсер для мониторинга товаров
Основная задача
Необходимо разработать программное обеспечение для круглосуточного мониторинга одной из крупнейших российских досок объявлений. Система должна отслеживать появление новых товаров в выбранных пользователями категориях и городах, и мгновенно уведомлять о них.
Ключевые функциональные требования
- Гибкость настройки: Клиенты самостоятельно вставляют ссылку на нужную категорию и город. Софт начинает мониторинг по этой ссылке.
- Мгновенное оповещение: При обнаружении нового товара система отправляет данные в Telegram-бота. В уведомлении должна быть ссылка на товар, цена, название и другие ключевые параметры.
- Высокая скорость: Время от публикации товара до отправки уведомления должно составлять 0-1 минуту, что соответствует скорости работы аналогов на рынке.
- Устойчивость к блокировкам: Критически важное требование - обход систем защиты (фрода) без использования платных прокси на каждый запрос. Необходимо интеллектуальное решение с использованием кук, сессий, кэширования и других методов для работы с одного IP-адреса. Средняя нагрузка - около 10 запросов в секунду на одного клиента.
- Масштабируемость: Архитектура должна быть рассчитана на одновременную работу минимум 150 пользователей с их уникальными ссылками для парсинга.
Этапы работ и требования к исполнителю
Этап 1: Разработка ядра парсера
- Создание стабильного и быстрого парсера с обходом задержек и защитных механизмов площадки.
- Гарантия работоспособности и скорость, сопоставимая с существующими на рынке решениями.
- Передача полного исходного кода.
Этап 2: Доработка и поддержка
- Обеспечение долгосрочной технической поддержки и гарантии работы софта.
- Разработка дополнительных модулей: простая онлайн-касса, админ-панель для управления, Telegram-бот. Детализация требований - после успешной реализации парсера.
Условия сотрудничества
Проект рассчитан на долгосрочное сотрудничество. Оплата делится на две части: единовременная выплата за создание рабочего решения и ежемесячная оплата за его поддержку и обновление.