Техническое задание: Многопоточный парсер данных
Цель проекта
Разработка высокопроизводительной системы для автоматизированного сбора и обработки информации из нескольких веб-источников с использованием многопоточного подхода.
Основные требования
1. Источники данных
- Система должна работать с 1-3 заранее определёнными поисковыми площадками
- Реализована поддержка настраиваемых фильтров для каждого источника
2. Архитектура и производительность
- Обязательная реализация многопоточного режима работы
- Обеспечение стабильности и отказоустойчивости при обработке потоков данных
- Оптимизация скорости сбора информации
3. Функциональность
- Надёжный механизм обхода ограничений источников
- Структурированное сохранение полученных данных
- Логирование процесса работы системы