Описание задачи

Необходимо настроить систему рендеринга JavaScript-страниц для корректной индексации поисковым роботом. Контент страниц формируется динамически (цены, описания товаров).

Требования

• Обработка 3000 страниц, на каждой до 100 товарных позиций, контент которых генерируется через JavaScript.
• Извлечение цены за единицу товара (экземпляр, штука) из динамического контента.
• Передача извлеченных данных (цена, описание) в сервис Яндекс.Товары (Yandex Market / Merchant Center).
• Настройка автоматического планировщика для регулярного обхода страниц и обновления информации (робот Яндекса / кастомизированный парсер).
• Итоговые данные должны быть структурированы для экспорта в форматах, поддерживаемых Яндекс.Товарами (YML или аналогичный).

Техническое исполнение

Предлагайте решение оптимизации времени индексации и распараллеливания запросов для обработки тысяч страниц без ошибок. Управляться с процессом должен разработанный планировщик заданий.