Разработка быстрого парсера для маркетплейсов
Требуется создать или доработать парсер данных с основных маркетплейсов. Ключевое требование - максимальная скорость получения информации и настройка корректной выгрузки.
Техническое задание: Парсер объявлений об участках ИЖС
Цель проекта
Разработать надежный и стабильный парсер для автоматизированного сбора актуальных объявлений о продаже земельных участков под индивидуальное жилищное строительство (ИЖС) на территории Бурятии.
Основные функции
- Парсинг заданных страниц поиска с досок объявлений.
- Гибкая настройка параметров поиска: район, диапазон цен, площадь участка.
- Сбор и структурирование следующих данных из каждого объявления:
- Цена
- Площадь участка
- Местоположение (адрес, район)
- Ссылка на оригинальное объявление
- Кадастровый номер (при наличии в объявлении)
- Текстовое описание
- Сохранение собранных данных в формате CSV или напрямую в Google Таблицу.
- Реализация механизма проверки на дубликаты объявлений при добавлении новых записей.
Требования к стабильности и надежности
- Реализация обхода возможных блокировок со стороны сайтов.
- Использование рандомизированных задержек между запросами.
- Корректная работа с заголовками User-Agent.
- Обработка ошибок сети и парсинга для обеспечения бесперебойной работы.
Технологии
Основной язык реализации: Python. Допускается использование любых проверенных библиотек для парсинга и работы с данными (например, BeautifulSoup, Scrapy, Selenium, requests, pandas).