Техническое задание: Парсер сайтов с ИИ-анализом

Цель проекта

Разработать программное решение для автоматического сбора и анализа информации с веб-сайтов. Основная функция - определение сферы деятельности компании и её рыночного сегмента (B2B или B2C) с применением технологий искусственного интеллекта.

Основные задачи

• Создать парсер, способный последовательно обрабатывать сайты из предоставленного списка.
• Интегрировать механизм анализа контента (текстов, метаданных) для классификации вида деятельности компании.
• Реализовать логику определения бизнес-сегмента (B2B или B2C) на основе собранных данных.
• Обеспечить стабильную работу парсера и корректную обработку веб-страниц.

Требования к реализации

• Решение должно быть готово к интеграции с ИИ-моделью или сервисом для классификации текста.
• Парсер должен корректно обрабатывать структурированные списки URL-адресов.
• Важно предусмотреть обработку ошибок (недоступность сайтов, изменения в структуре страниц).
• Результаты работы (определённая деятельность и сегмент для каждого сайта) должны быть сохранены в удобном формате.

Ожидаемый результат

Готовый, отлаженный парсер, который автоматизирует процесс анализа сайтов и предоставляет структурированный отчёт с классификацией по виду деятельности и бизнес-модели.