Описание задачи

Необходимо разработать автономный модуль парсинга, который будет автоматически собирать данные с указанного сайта, отслеживать изменения и отправлять их в очередь RabbitMQ для дальнейшей обработки модулем агрегации. Модуль должен следовать общему паттерну проектирования, принятому в проекте. Примеры реализации смежных модулей будут предоставлены (локальный GitLab).

Обязательный стек технологий

  • Python
  • Django REST Framework
  • Celery
  • PostgreSQL
  • RabbitMQ
  • Docker
  • Docker Compose

Функциональные требования

Универсальность

  • Модуль должен быть готов к сбору любой категории данных без написания нового кода. Достаточно установить флаг в базе данных для конкретной категории — и объявления из неё начнут собираться автоматически.
  • Если ведется сбор сразу всех категорий, необходимо предусмотреть маппинг полученных данных к единому типу категорий, который ожидает система-агрегатор.

Защита от ботов

  • Модуль должен автоматически обходить стандартную защиту сайта от парсинга и ботов на уровне скриптов и заголовков.
  • Не требуется использование сложных капч и человекоподобных решений — достаточно встроенных эмуляций.

Интеграция и передача данных

  • Все собранные сведения после верификации отправляются в RabbitMQ.
  • Формат сообщения должен соответствовать требованиям агрегатора (уточняется в ТЗ).

Архитектурные особенности

  • Модуль полностью автономен и запускается через Docker Compose.
  • Легко адаптируется под другие сайты и категории путем изменения настроек в БД или конфигурациях.