Техническое задание: Универсальный парсер сайтов

Необходимо разработать модуль для автоматизированного сбора данных с веб-сайтов, оснащенный удобным веб-интерфейсом для управления и настройки.

Ключевые функциональные требования

• Реализовать механизм загрузки и корректного разбора файлов sitemap.xml.
• Обеспечить поддержку различных форматов карт сайта:
  • Стандартные XML-файлы.
  • Сжатые файлы в формате .xml.gz.
  • Произвольные структуры и дополнительные форматы (при необходимости).
• Создать интуитивно понятный веб-интерфейс для настройки параметров парсинга, запуска задач и просмотра результатов.
• Продумать архитектуру модуля для обеспечения его универсальности и возможности расширения функционала в будущем.

Ожидаемый результат

Готовое к использованию решение, позволяющее гибко настраивать и выполнять парсинг данных с различных сайтов через веб-браузер, с надежной обработкой карт сайта.