Создание бота для парсинга сайтов и выгрузки в Excel
Требуется реализовать Telegram-бота на Python, который собирает информацию с сайта и экспортирует данные в таблицу Excel. Заказчик хочет из специалиста с портфолио.
Задача
Необходимо перенастроить файл robots.txt для сайта, работающего на CMS «1С-Битрикс», чтобы разрешить индексирование ключевых страниц роботам искусственного интеллекта. Важно сохранить оптимальные параметры Disallow и при этом не ухудшить позиции в обычных поисковых системах.
Что требуется сделать:
- Добавить в robots.txt директивы для Crawler общего режима, ChatGPT-User, GPTBot, Google-Extended и других популярных ИИ-ботов;
- Определить список страниц, доступных для сканирования (основные разделы, внутренние поиски, статьи новости) и закрыть системные служебные директории Bitrix;
- Взаимодействие через Bitrix админку, правки вносить только через файл, без сторонних плагинов.
Дополнительные требования:
- Учесть уже установленные миграции, если сайт находился на обобщённых настройках;
- После внесения изменений провести тестовый парсинг - проверить ответ для выбранных маршрутов, чтобы подтвердить ошибки открытости;
- Предоставить краткую текстовую инструкцию по работе с пуеролианской настройкой для дальнейшего контроля.
Итоговый снаряд нужной файла сохранянеь сразу действующую.