Техническое задание: Настройка и дообучение локальной LLM

Основная цель

Необходимо настроить, дообучить и оптимизировать крупную языковую модель (Large Language Model) для её эффективной работы в локальной среде.

Ключевые требования

  • Размер модели: В диапазоне от 7 до 30 миллиардов параметров (7B-30B).
  • Данные: Дообучение будет проводиться на предоставленном заказчиком датасете.
  • Среда выполнения: Модель должна быть подготовлена для оффлайн (локального) использования, без зависимости от облачных сервисов.
  • Оптимизация: Критически важна оптимизация под ограниченные ресурсы видеопамяти (VRAM).
  • Форматы: Модель должна быть сохранена и представлена в современных, эффективных форматах (например, GGUF, GPTQ, AWQ), подходящих для локального запуска.

Ожидаемый результат

Готовая к использованию, оптимизированная модель, которую можно развернуть на локальном оборудовании для выполнения целевых задач.

Разработка комплекса интеграций для системы управления торговлей

Требуется доработать стандартную конфигурацию системы учета, добавив комплекс внешних интеграций. Работа выполняется в виде единого расширения для указанной версии платформы. Все взаимодействие - через фриланс-биржу.