Исходные данные
Заказчик предоставляет файл с перечнем ключевых фраз (ключей).
Задача
- По каждой ключевой фразе собрать ссылки на страницы (URL) из первой 50-ки результатов поисковой выдачи Яндекса и Google.
- Итоговый файл должен содержать полный массив собранных URL.
- Ожидаемое количество ключей: 100 000.
- Ожидаемый размер итогового файла: порядка 5 000 000 URL.
Формат результата
Итоговый файл должен представлять из себя структурированный список URL (например, в формате CSV, TXT или JSON - уточнить у заказчика) без использования стилей, скриптов и HTML-разметки.
Дополнительные пожелания
- Учитывать региональную привязку или дефолтный режим (уточнить локацию выполнения).
- Возможно исключение ссылок на сайты самого сервиса (Яндекс, Google).
- Все контактные данные (названия фирм, номера телефонов, адреса сайтов заказчика) не упоминать.
Для исполнителя
Соблюдать конфиденциальность данных, использовать автоматизированные средства (парсинг) без нарушения условий использования поисковых систем, по возможности избегать прямого loading контента (обход распознавания капчи).