Техническое задание: Диагностика и исправление парсера

Суть проблемы

Имеющийся парсер для сбора данных с открытого государственного веб-ресурса работает нестабильно, происходят регулярные сбои. Необходимо провести глубокий анализ, выявить корневую причину неполадок и реализовать надежное решение.

Используемый стек и окружение

• Язык программирования: PHP
• Целевой источник данных: Открытый государственный портал (аналогичный fssp.gov.ru)
• Особые компоненты:
  • Инструмент для автоматического разгадывания капчи, построенный на базе искусственного интеллекта.
  • Работа через пул прокси-серверов для обхода ограничений.

Задачи для исполнителя

1. Диагностика: Тщательно проанализировать существующий код парсера, логику работы с капчей и прокси, а также взаимодействие с API целевого сайта. Выявить точные условия, при которых происходят сбои (таймауты, блокировки, изменения в структуре ответа, ошибки в работе ИИ-распознавателя, проблемы с прокси).
2. Составление отчета: Предоставить четкое описание найденной проблемы (или проблем) с техническим обоснованием.
3. Устранение: Разработать и внедрить исправления в код, обеспечивающие стабильную и бесперебойную работу парсера. Решение должно быть надежным и учитывать возможные изменения на стороне источника.
4. Тестирование: Проверить работу исправленного парсера в течение достаточного времени, чтобы убедиться в устранении сбоев.

Требования к решению

• Исправленный код должен быть чистым, комментированным в ключевых местах.
• Необходимо обеспечить обработку возможных ошибок (сетевых, связанных с прокси, с капчей) с последующими повторными попытками или корректным логированием.
• По возможности, повысить отказоустойчивость системы.

Ожидаемый результат

Полностью рабочий парсер, стабильно собирающий данные с целевого ресурса без вмешательства человека. Подробный отчет о проделанной работе и внесенных изменениях.