Техническое задание: Разработка комплексной парсинг-системы

Основная цель проекта

Создание высоконагруженной, надежной и масштабируемой системы для сбора, обработки и представления данных из множества онлайн-источников.

Ключевые требования и компоненты

1. Источники данных

• Общее количество источников: от 23 до 27.
• Характер источников: разнородные, включая сложные для парсинга площадки (например, китайские маркетплейсы).
• Подход к сбору данных: комбинированный.
  • Приоритет: использование открытых или платных API, где это возможно.
  • Где API недоступны: реализация классического парсинга с обходом защитных механизмов.

2. Функциональные модули системы

• Ядро парсера: Модуль для стабильного и эффективного сбора данных с учетом специфики каждого источника.
• AI-компонент: Интеграция искусственного интеллекта для задач очистки, классификации, анализа или обогащения полученных данных.
• Telegram-бот: Разработка бота для:
  • Управления процессами парсинга (запуск, остановка, настройка).
  • Мониторинга состояния системы и логов.
  • Представления собранных данных и отчетов пользователю.

3. Технические и качественные требования

• Система должна быть отказоустойчивой и стабильно работать с большим объемом источников.
• Архитектура должна позволять относительно легко добавлять новые источники данных.
• Код должен быть чистым, документированным и поддерживаемым.
• Необходимо предусмотреть обработку ошибок, механизмы повторных попыток и кэширования.

Ожидания от исполнителя

Мы ищем опытного разработчика, чей уровень навыков соответствует сложности поставленной задачи. Готовы рассмотреть предложения с соответствующей ценой для квалифицированных специалистов. Подробное техническое задание будет предоставлено после первичного отклика и обсуждения.