Разработка парсера для мониторинга товаров с отправкой в Telegram

Основная задача

Создать стабильный и быстрый парсер для мониторинга появления новых товаров на крупнейшей российской доске объявлений. Пользователи самостоятельно выбирают категорию и город, вставляя ссылку. Система должна круглосуточно отслеживать изменения и мгновенно отправлять уведомления в Telegram-бота.

Ключевые требования к парсеру

• Скорость и стабильность: Время от публикации товара до отправки уведомления должно составлять 0-1 минуту, что соответствует скорости работы существующих аналогов.
• Обход ограничений: Необходимо реализовать решение, которое позволит обойти ограничения на количество запросов без использования платных прокси. Предполагается использование сессий, кук, кэширования и других методов оптимизации. В среднем на каждого клиента приходится около 10 запросов в секунду.
• Экономическая целесообразность: Решение должно быть рентабельным. Использование платных прокси на каждый запрос делает проект убыточным.
• Масштабируемость: Система должна быть рассчитана на одновременную работу минимум 150 пользователей, каждый со своей уникальной ссылкой для парсинга.
• Содержание уведомления: В Telegram-бота необходимо отправлять ссылку на товар, цену, название и другие ключевые данные.

Этапы работ и требования к исполнителю

1. Разработка парсера: Создание стабильного и быстрого ядра системы с обходом задержек и ограничений.
2. Поддержка и гарантия: Исполнитель должен быть готов к долгосрочному сотрудничеству, включая техническую поддержку и гарантийное обслуживание софта.
3. Передача исходного кода: Обязательным условием является передача полного исходного кода проекта заказчику.
4. Доработка системы: После реализации парсера потребуется разработка дополнительных модулей: простой онлайн-кассы, админ-панели и Telegram-бота. Детали будут согласованы отдельно.

Технические нюансы

Ранее проводилось тестирование аналогичного решения на основе API, которое показало высокую скорость работы, сравнимую с конкурентами. Однако проблема возникла с блокировкой IP-адресов и прокси. Требуется найти альтернативное, экономически эффективное решение для обхода этих ограничений.