Техническое задание: Система дообучения LLM и ИИ-агент для метаанализа

Основные задачи проекта

• Изучить и реализовать методологию тонкой настройки открытых языковых моделей, описанную в технических статьях
• Создать работоспособную систему для метаанализа пользовательских данных по различным направлениям
• Разработать скрипты и инструменты для формирования датасетов из документов в формате PDF

Конкретные этапы работ

1. Подготовка инфраструктуры и данных

• Написание скриптов для создания датасета из пользовательских документов
• Разработка инструкции по загрузке и обработке PDF-файлов
• Настройка процедуры предобработки данных для обучения

2. Тонкая настройка языковой модели

• Настройка полного цикла тонкой настройки открытой LLM с использованием Claude
• Демонстрация рабочего процесса дообучения модели
• Оптимизация параметров обучения для конкретной задачи метаанализа

3. Создание ИИ-агента

• Разработка агента на основе дообученной модели
• Интеграция функций метаанализа различных данных
• Настройка интерфейса взаимодействия с агентом

4. Документация и инструкции

• Подготовка всех процессов для передачи заказчику
• Создание подробной видеоинструкции для самостоятельного дообучения моделей
• Разработка руководства по использованию ИИ-агента

Требования к результату

• Готовый набор скриптов для создания датасетов
• Рабочий процесс тонкой настройки LLM
• Функциональный ИИ-агент для метаанализа
• Полная видеоинструкция по самостоятельному повторению процесса
• Система должна позволять заказчику дообучать модель на своих документах без глубоких технических знаний