Обработка и цветокоррекция 15 фотографий
Необходимо привести 15 фотографий, сделанных на разные устройства, к единому визуальному стилю. Задача включает цветокоррекцию, удаление дефектов и создание гармоничного набора изображений.
Разработка DAG для загрузки рыночных данных в Apache Airflow
Необходимо создать надежный и эффективный пайплайн для ежедневного сбора финансовой информации.
Основная задача
Разработать Directed Acyclic Graph (DAG) для платформы Apache Airflow, который будет автоматически загружать, обрабатывать и сохранять данные с биржи.
Ключевые требования
- Изучить публичное API биржи для получения данных о ценных бумагах и исторических котировках.
- Спроектировать и реализовать ETL-процесс (Extract, Transform, Load) в рамках Airflow DAG.
- Обеспечить обработку ошибок и повторные попытки загрузки при сбоях.
- Реализовать логирование ключевых этапов работы пайплайна.
- Организовать хранение загруженных данных в удобном формате (например, CSV, база данных).
- Настроить расписание регулярного выполнения задачи (например, ежедневно после закрытия торговой сессии).
Ожидаемый результат
- Рабочий DAG-файл для Apache Airflow, готовый к развертыванию.
- Документация по настройке и запуску пайплайна.
- Код должен быть читаемым, модульным и сопровождаемым.