Разработка агрегатора данных автомобильных аукционов США

Требуется опытный разработчик или команда для создания масштабируемой B2B-платформы, которая объединяет в едином интерфейсе информацию о лотах с ведущих автомобильных аукционов США.

Основные цели проекта

• Создание единой точки доступа к актуальным данным нескольких крупных аукционных площадок.
• Обеспечение автоматического обновления информации о лотах, включая ставки и статусы.
• Построение мощной поисковой и фильтрующей системы для удобной работы с большим объемом данных.

Ключевые технические задачи

1. Интеграция с источниками данных

• Настройка подключения к официальным API аукционов (при наличии).
• Организация получения данных через партнерские фиды (feeds).
• Разработка надежных и устойчивых парсеров для сбора информации с веб-ресурсов.

2. Работа с данными

• Получение и обработка больших объемов данных по каждому лоту: VIN-номера, фотографии, детальные характеристики, история ставок, текущий статус.
• Обеспечение регулярного обновления информации (синхронизации).
• Нормализация и приведение данных из разных источников к единому формату.

3. Бэкенд-инфраструктура и пайплайны

• Проектирование и построение отказоустойчивых пайплайнов обработки данных.
• Реализация системы очередей задач, cron-заданий для периодического обновления.
• Внедрение механизмов повторных попыток (retry) при сбоях и стратегий кеширования для повышения производительности.

4. Хранение и управление данными

• Создание структуры базы данных, способной эффективно хранить и индексировать миллионы записей.
• Обеспечение быстрого поиска и фильтрации по множеству параметров.

Требования к платформе

• Профессиональный, интуитивно понятный интерфейс для B2B-пользователей.
• Высокая надежность и отказоустойчивость всех компонентов системы.
• Масштабируемость архитектуры для будущего роста объема данных и числа пользователей.
• Четкая документация по интеграциям и работе системы.