Разработка ИИ-инструмента для интеллектуального сбора и фильтрации данных

Задача заключается в поиске или создании метода, который позволит с помощью технологий искусственного интеллекта автоматически собирать из интернета только нужную информацию, соответствующую заранее определённым параметрам.

Ключевая цель

Нам нужен не классический парсер, а именно интеллектуальный подход. Инструмент должен понимать контекст и смысл информации, чтобы отбирать данные с высокой точностью.

Примеры задач для инструмента

• На маркетплейсе: найти товары определённой категории с рейтингом от 4.9 до 5.0 и стоимостью до установленного лимита, предоставив список ссылок на подходящие позиции.
• В бизнес-справочниках: отобрать компании из конкретного города, занимающиеся определённой услугой (например, доставкой обедов), и исключить нерелевантные варианты на основе анализа описаний, фотографий и других данных.

Рассматриваемые варианты решения

1. Универсальный ИИ-инструмент: Готовое решение, функционально похожее на парсер, но с продвинутой системой фильтрации на основе ИИ и гибкими настраиваемыми критериями отбора.
2. Отдельный «ИИ-фильтр»: Модуль, которому передаётся предварительно собранный список ссылок. Его задача - проанализировать содержимое каждой страницы по заданным параметрам и отфильтровать результаты. Критерии анализа должны быть изменяемыми под конкретную задачу.

Требования к отклику

В ответе просим указать:

• Известные вам готовые инструменты, подходящие под описание задачи.
• Возможные варианты и методы реализации подобного решения (архитектурные подходы, используемые технологии ИИ).

Примечание: Решения на базе Apify и Perplexity уже тестировались и не подошли под требования проекта.