Общая задача
Необходимо выполнить удаленную профессиональную настройку сервера для работы с нейросетями. Капитальные вложения в задаче не критичны - приоритетом является функционал и надёжность.
Исходные данные сервера
- Видеокарта: NVIDIA 5070 Ti с 16 ГБ VRAM
- Оперативная память: 128 ГБ
- Два процессора Intel Xeon (суммарно 48 потоков)
- Диск: 5 ТБ
- ОС: Windows 11 Pro
Предпочтительный стек программного обеспечения
- Движок: Ollama или LM Studio (любой на усмотрение исполнителя при полноценной реализации всех функций)
- Оболочка: Open WebUI
Функциональные требования в итоговой системе
- Оболочка для работы с нейросетью из коробки: функции RAG (работа с локальными документами), голосовой ввод запросов, удаленный доступ через браузер, мультиагентная система, возможность выходить в интернет (поиск информации).
- Поддержка fine-tuning (дообучения) моделей прямо на сервере с сохранением и восстановлением конфигураций.
- Система автоматического/ручного бекапа данных (модели, конфиги, RAG-документы) с простой проверкой наличия файлов бекапа по заданному пути.
Результат Setup
- После загрузки Windows автоматически запускается код/скрипты - оболочка (Open WebUI) стартует сама.
- Пользователь сразу (без дополнительных манипуляций) может работать с нейросетью как локально (интерфейс системы Windows), так и удалённо (через браузер с любого устройства).
Чек-лист приёмочного тестирования
- Ручная или автоматическая перезагрузка сервера - фиксация работоспособности системы.
- После старта появляется интерфейс взаимодействия (окно в браузере или утилита) с полем ввода промпта.
- Тест RAG: ввод 'Какие я люблю овощи?' → получаем 'свекла, авокадо' (текст есть в подготовленном локальном документе).
- Тест интернет-поиска: ввод 'Найди расписание хоккейных матчей в Москве' → актуальный вывод информации из интернета по хоккею.
- Тест голосового ввода: запрос голосом 'Расскажи о погоде назавтра в Москве' → корректный голосовой (либо текстовый в окне) ответ о погоде.
- Запуск процесса бэкапа - в строго определённой папке появляется файл(ы) архива данных.