Техническое задание: Парсер комментариев TikTok
Цель проекта
Создать программное решение для автоматического сбора всех комментариев и доступных данных из видео TikTok по предоставленному списку ссылок и их сохранения в реляционную базу данных PostgreSQL.
Основные требования
- Язык разработки: TypeScript (предпочтительно) или Python.
- Источник данных: Программа получает на вход список URL-адресов видео на платформе TikTok.
- Результат работы: Все комментарии к указанным видео, а также любые другие доступные данные (информация о видео, автор, метрики и т.д.) должны быть сохранены в указанную БД PostgreSQL.
- Надежность и скорость: Приложение должно работать стабильно, без сбоев, и эффективно обрабатывать большие объемы данных.
Требования к обработке препятствий
- Решение должно быть готово к обходу систем защиты, таких как капча и другие ограничения платформы.
- Перед интеграцией любых платных сторонних сервисов (например, API TikTok, сервисы антикапчи) необходимо согласовать их выбор и стоимость с заказчиком.
- Исполнитель должен предложить вариант с прокси-серверами (с указанием предполагаемого количества, источника покупки и ориентировочной стоимости) для согласования.
Ожидаемый результат
Готовая к промышленной эксплуатации программа, которая по списку ссылок заполняет базу данных PostgreSQL структурированной информацией, извлеченной из TikTok.