Задача
Требуется разработать надежное решение для автоматического сбора отчетной информации из личного кабинета продавца на площадке Wildberries. Проект включает два основных направления: парсинг внутреннего отчета (инструмент аналитики продавца) и использование публичного API для получения данных.
Технические требования
- Сбор данных из отчета ДЖЕМ: программное получение всей доступной статистики внутри данного раздела личного кабинета селлера. Данные собираются автоматически с учетом авторизации и обходов блокировок, если это применимо.
- Работа с API WB: настроить регулярный прием данных через официальное API площадки от имени продавца. Необходимо обрабатывать ключи авторизации, лимиты запросов и форматы ответов.
- Сохранение результатов: разработать структуру таблиц и скрипт записи в базу данных PostgreSQL, установленную на нашем сервере VPS. Обеспечить уникализацию записей и избегание дублирования.
- Автоматизация по расписанию: настройка задания в планировщике Cron для автоматической инкрементальной выгрузки и добавления новых данных в заданное время.
Уровень вложенности и сложность
Ожидается, что исполнитель уверенно владеет веб-скрапингом (бирая HTTP-запросы, имитация поведения селлера или использование Selenium при необходимости), умеет интегрироваться с RESTful сервисами и проектировать структуры баз данных. Четкое разделение логики: парсер из ЛК работает независимо от микросервиса-интегратора с API.
Дополнительные пожелания
- Исполнитель должен предусмотреть мониторинг работоспособности одного или двух модулей (парсера / апи)
- Комментирование кода и написание сопроводительной документации внутри репозитория.
- Разработчику необходимо разобраться с полной структурой отчетов ДЖЕМ - имплементировать корректное маппирование всех полей отчета.
После внедрения системы возможны несколько итераций по доработке формата данных, поэтому код должен быть поддерживаемым и легко расширяться.