Разработка агрегатора данных автомобильных аукционов США
Ключевая задача
Создание профессиональной B2B-платформы для объединения и анализа данных с нескольких крупных американских автомобильных аукционов в единой системе.
Основные функции и требования
1. Интеграция с источниками данных
- Подключение к аукционам через официальные API, партнерские фиды или парсинг.
- Обеспечение стабильного получения больших объемов данных: VIN-номера, фотографии, технические характеристики, статусы лотов, история ставок.
- Опыт работы с системами защиты (обход rate-limits, Cloudflare и аналоги).
2. Архитектура и обработка данных
- Проектирование и построение отказоустойчивых пайплайнов обработки данных.
- Реализация механизмов очередей, cron-задач, повторных попыток (retry) и кеширования.
- Организация хранения миллионов записей в реляционной базе данных.
- Оптимизация работы с изображениями (хранение, обработка, отдача).
3. Поиск и интерфейс
- Настройка высокопроизводительного полнотекстового поиска и сложных фильтров (предпочтительно на базе Elasticsearch/OpenSearch).
- Разработка современного, отзывчивого пользовательского интерфейса с использованием актуальных фронтенд-технологий.
Требуемый технологический стек и опыт
- Backend: Node.js или Python.
- Глубокое понимание REST/GraphQL API.
- Опыт работы с PostgreSQL/MySQL.
- Знание Elasticsearch/OpenSearch будет значительным преимуществом.
- Обязателен опыт создания агрегаторов, маркетплейсов или других высоконагруженных систем.
Пилотный этап проекта
Работа начнется с поэтапной реализации, что позволит оценить подход и качество:
- Аудит и предложение архитектуры системы.
- Разработка стратегии интеграции с различными источниками.
- Полноценная интеграция одного аукциона, включая:
- Получение и обновление данных.
- Их обработку и хранение.
- Реализацию поиска и фильтров.
- Вывод информации через фронтенд.
После успешного завершения пилота планируется долгосрочное сотрудничество по расширению функционала и подключению новых источников.
Для отклика необходимо указать
- Примеры реализованных аналогичных проектов (скриншоты или ссылки).
- Конкретную роль, которую вы выполняли в этих проектах.
- Используемый технологический стек.
- Предлагаемые сроки и бюджет для реализации пилотного этапа (интеграция одного аукциона).