Техническое задание: Парсинг объявлений с ЦИАН.ру

Цель проекта

Разработать скрипт для автоматического сбора данных (парсинга) объявлений о недвижимости с площадки ЦИАН.ру по заданному поисковому запросу.

Основные требования

  • Сбор данных должен осуществляться по указанному поисковому запросу.
  • Максимальный объем выгружаемых данных - до 2500 объявлений.
  • Результаты должны сохраняться в файл формата Microsoft Excel (XLSX).

Структура выходного файла

Excel-таблица должна содержать следующие обязательные поля (колонки) для каждого объявления:

  • Дата публикации объявления
  • Полный адрес объекта
  • Стоимость
  • Площадь
  • Количество комнат
  • Этаж / этажность дома
  • Тип объекта (квартира, дом, коммерция и т.д.)
  • Ссылка на объявление
  • Контактное лицо (если доступно)

Дополнительные пожелания

  • Код должен быть написан на Python с использованием популярных библиотек для парсинга (например, BeautifulSoup, Scrapy, Selenium).
  • Желательно предусмотреть обработку ошибок и возможность возобновления сбора данных при сбоях.
  • Скрипт должен быть готов к запуску и сопровождаться краткой инструкцией.

Разработка прокси-сервера с TLS Client Hello для маскировки сетевых отпечатков

Требуется создать прокси-сервер, способный изменять TLS-отпечаток (Client Hello) и распределять трафик клиентских приложений по разным IPv4/IPv6 адресам для снижения количества капчи. Сервер имеет выделенный IPv6 и IPv4 /32 пул адресов.