Техническое задание: Оптимизация Python-скрипта для парсинга
Цель проекта
Провести рефакторинг и доработку существующего Python-скрипта, предназначенного для сбора данных с веб-ресурсов и их последующего сохранения в реляционную базу данных. Основные задачи - устранение ошибок, повышение надежности и скорости работы.
Ключевые задачи
- Анализ и исправление ошибок в текущей реализации скрипта.
- Улучшение и стандартизация обработки исключений (error handling) для всех критических операций (сетевые запросы, работа с базой данных, парсинг).
- Оптимизация работы с HTTP-запросами (библиотека requests) для повышения скорости и стабильности сбора данных.
- Оптимизация процесса взаимодействия с базой данных MySQL для ускорения записи информации.
- Общий рефакторинг кода для улучшения читаемости, поддержки и производительности.
Требования к навыкам исполнителя
- Опыт разработки на Python.
- Практический опыт работы с библиотеками для парсинга: requests и BeautifulSoup.
- Опыт работы с СУБД MySQL (написание запросов, использование коннекторов).
- Понимание принципов оптимизации кода и обработки сетевых запросов.
Ожидаемый результат
Стабильный, хорошо структурированный скрипт, эффективно собирающий данные, с корректной обработкой ошибок и оптимизированной скоростью выполнения.