Техническое задание: Парсер для мониторинга новых товаров
Необходимо разработать высоконагруженную и экономичную систему парсинга, которая будет круглосуточно отслеживать появление новых товаров на заданных пользователем страницах (категория и город) и мгновенно уведомлять о них.
Основные цели проекта
- Стабильность и скорость: Время от публикации товара до отправки уведомления в Telegram должно составлять 0-1 минуту.
- Экономическая эффективность: Система должна быть оптимизирована по стоимости эксплуатации. Использование дорогих прокси на каждый запрос недопустимо. Требуется интеллектуальное решение с применением кеширования, сессий, кук или подбором корректных запросов для обхода блокировок.
- Масштабируемость: Архитектура должна выдерживать одновременную работу от 150+ пользователей, каждый со своей уникальной ссылкой для мониторинга.
- Долгосрочное сотрудничество: Проект включает этап разработки и последующую ежемесячную оплату за техническую поддержку и гарантию работоспособности.
Функциональные требования к парсеру
- Прием от пользователя ссылки на раздел площадки (категория + город).
- Круглосуточный мониторинг выбранной страницы на появление новых товаров.
- Отправка мгновенного уведомления в Telegram-бота при обнаружении новой позиции. В уведомлении должна быть ссылка на товар, цена, название и другие ключевые параметры.
- Обход антифрод-систем площадки. Средняя нагрузка: ~10 запросов в секунду на одного клиента. Необходимо реализовать механизм, предотвращающий блокировку IP, кук или сессий.
- Использование доступных API (мобильная и веб-версии) для увеличения скорости и эффективности парсинга.
- Передача полного исходного кода системы Заказчику.
Дополнительные этапы работ (обсуждаются детально после реализации парсера)
- Разработка простой онлайн-кассы для приема платежей.
- Создание административной панели для управления системой.
- Развитие функционала Telegram-бота.
Технические и бизнес-требования
- Срок выполнения этапа парсера: до 4 дней.
- Режим работы: 24 часа в сутки, 7 дней в неделю.
- Надежность: Гарантия стабильной работы и оперативное устранение сбоев в рамках договора на поддержку.