Техническое задание: Бот-парсер цен для ритейл-сетей

Необходимо разработать автоматизированную систему для мониторинга и анализа цен на товары в заданных розничных сетях. Система должна работать автономно по заданному расписанию и предоставлять структурированные отчеты для принятия решений.

Основные функции системы

• Парсинг данных: Автоматический сбор актуальных цен с сайтов указанных ритейлеров по определенной категории товаров.
• Анализ и классификация: Автоматическая сортировка собранных товаров по ценовым сегментам: низкий, средний, высокий.
• Формирование отчетов: Генерация четких и наглядных отчетов в формате Excel (XLSX) с актуальными данными.

Технические требования

Парсинг данных

• Реализация с учетом возможной антибот-защиты на сайтах.
• Использование инструментов и методов для обхода блокировок (например, ротация user-agent, использование прокси, добавление задержек).
• Настройка периодичности автоматических проверок (ежедневно, еженедельно и т.д.).

Аналитический модуль

• Реализация адаптивной логики для определения границ ценовых сегментов на основе собранных данных.
• Возможность ручной корректировки правил классификации.

Выгрузка данных

• Формирование структурированного Excel-файла с четкими заголовками, фильтрами и, при необходимости, графиками.
• Отчет должен содержать: название товара, цену, ритейлера, ценовой сегмент, дату парсинга.

Ожидаемый результат

Готовое рабочее решение на Python, состоящее из скрипта парсера, модуля анализа, планировщика задач и модуля выгрузки. Код должен быть документирован и готов к развертыванию.

Готовы к детальному обсуждению технических нюансов и предоставлению примеров мониторинга и списка сетей.