Настройка Яндекс Директ для выкупа автомобилей
Требуется специалист по контекстной рекламе для настройки и ведения рекламных кампаний в Яндекс Директ в сфере выкупа автомобилей. География работы - четыре области Центральной России.
Разработка Backend-системы для сбора и аналитики больших данных с автомобильных площадок
Цель проекта - создание отказоустойчивого ETL-конвейера и хранилища данных (DWH) уровня крупных агрегаторов объявлений.
Основные задачи
- Высоконагруженный парсинг: Ежедневный сбор миллионов объявлений с автомобильных классифайдов. Требуется опыт работы с современными системами защиты (Cloudflare, Datadome, капчи).
- Очистка и нормализация: Приведение неструктурированных данных к единому формату.
- Алгоритм «Золотой записи»: Реализация механизма склейки дублирующихся объявлений с разных источников с использованием Fuzzy Matching.
- Проектирование и наполнение DWH: Создание схемы хранилища данных для последующей аналитики.
Стек технологий (строго)
- Язык и фреймворки: Python (Asyncio, Aiohttp, Playwright).
- Базы данных: ClickHouse (для аналитики) и PostgreSQL (для метаданных).
- Оркестрация: Apache Airflow.
- Инфраструктура: Docker.
Требования к исполнителю
- Опыт в high-load скрапинге: понимание ротации прокси, работы с TLS-fingerprinting и обхода антибот-систем.
- Умение проектировать эффективные схемы хранилищ данных (DWH).
- Готовность следовать подробному техническому заданию и согласованному техпроцессу.
- Ответственный подход к работе с большими объемами данных.