Техническое задание: Парсер заказов интернет-магазина

Основная цель

Разработать программное решение для автоматизированного сбора данных о заказах из интернет-магазина с последующим сохранением и синхронизацией в базе данных.

Требования к разработке

Язык программирования (по приоритету):

  • Go Lang (предпочтительно)
  • Node.js с TypeScript (приветствуется)
  • Python (альтернативный вариант)

Функциональные требования:

  • Реализация механизма авторизации в системе интернет-магазина
  • Обход заказов с постраничной навигацией
  • Первичная полная синхронизация всех заказов
  • Последующая инкрементальная синхронизация только новых заказов
  • Сохранение сессионных данных (куки) для повторного использования
  • Автопроверка актуальности сессии и повторная авторизация при необходимости

База данных (по приоритету):

  • PostgreSQL (желательно)
  • MySQL/MariaDB
  • SQLite (крайний случай)

Архитектура решения:

  • Создание структуры БД для хранения заказов
  • Механизм сравнения данных для выявления новых записей
  • Обработка ошибок и логгирование
  • Возможность повторного запуска синхронизации

Ожидаемый результат

Стабильно работающий парсер, который автоматически собирает данные о заказах, исключая дублирование уже существующих в базе записей, с оптимизированным механизмом авторизации.