Техническое задание: Разработка парсера товаров по категориям
Основная цель
Создание программного решения для автоматизированного сбора структурированных данных о товарах из заданных категорий крупного маркетплейса.
Ключевые требования
- Сбор данных по товарам из указанных категорий
- Поддержка одновременной обработки большого количества категорий из списка
- Реализация параллельной (многопоточной или асинхронной) обработки для повышения производительности
- Структурированное сохранение собранных данных
- Надежность и устойчивость работы при обработке объемных списков
Ожидаемый функционал
- Возможность задания списка категорий для парсинга
- Параллельный сбор данных из нескольких категорий одновременно
- Обработка и очистка полученных данных
- Экспорт результатов в удобном формате (JSON, CSV, база данных)
- Логирование процесса работы и обработка ошибок
Технические аспекты
Решение должно быть масштабируемым и эффективным при работе с большими объемами данных. Приветствуется использование современных подходов к параллельным вычислениям и устойчивым соединениям.