Цель
Разработать программный продукт для автоматического сбора новых объявлений с доски объявлений. Софт должен работать без прокси, обходя фрод-защиту (работа с сессиями, куки, антикаптчей), и интегрироваться с Telegram-ботом для мгновенной рассылки новых записей. Ожидается одовременное обслуживание up до 50 пользователей, каждый со своей уникальной ссылкой на парсинг (разные города, категории и фильтры), приватной очередью и из
Ключевые требования
1. Парсинг
- Парсинг до 2 минут на один запуск - быстрое обнаружение новых предложений
- Обход фрод-фильтров без использования прокси (только эмуляция браузера / управление сессиями / cookies /anti-captcha)
- Извлечение данных: номера телефона, названия товара, ссылки на объявление, цены
2. Telegram-бот
- Клиент отправляет боту свою ссылку на парсинг (города, категории, фильтры)
- Бот отслеживает исключительно новые товары - нет дублей
- Автоматическая отправка сообщения: номер, название, ссылка, цена
- Простая админ-панель (базовая статистика, управление пользователями)
- Интерфейс может быть реализован на конструкторе TG-ботов (например, BotFather, ManyBot или другой сервис)
3. Архитектура
- Многопользовательская система с изолированными ссылками для каждого из 50 человек
- Ориентация на веб-скрапинг (без Selenium, предпо очищенный Http-запрос или простой скрапинг метод)
Результат работы: каждому клиенту приходит только его подборка новых объявлений из источника, связанного с его ссылкой.