Создание готового шаблона сервера (на базе Vast) для генерации контента

Общая задача

Разработать полностью готовый к развертыванию Docker-образ и конфигурацию для платформы облачного хостинга Vast, позволяющий запускать профессиональный сервер генерации видео и аудио на основе 2-х карт RTX 5090.

Основные этапы работ

1. Развертывание модели генерации видео

  • Произвести настройку полнофункциональной видеомодели.
  • Внедрить оптимизации SageAttention и Lightning LoRa для максимально быстрой и стабильной генерации видео.

2. Интеграция модели для создания озвучки (TTS)

  • Установить и настроить свежую речевую модель для генерации высококачественного голоса (аудио-дорожки).

3. Реализация API-сервера и очереди задач

  • Разработать бэкенд-сервер, принимающий HTTP-запросы на генерацию видео и аудио.
  • Реализовать систему очередей для последовательной обработки входящих задач.
  • Критическое ограничение: на каждом GPU должен выполняться только один процесс генерации одновременно (исключить перегрузку памяти).
  • Реализовать механизм очереди ожидания для корректной обработки последующих запросов.

4. Динамическое управление VRAM и выгрузка моделей

  • Режим генерации видео: аудио-модель должна полностью выгружаться (offloading) из памяти GPU перед запуском видеогенерации, чтобы освободить место в VRAM для нагрузки.
  • Режим генерации аудио: если ресурса видеокарты достаточно, включенную модель видео можно не выгружать (оставить в памяти).
  • Обеспечить корректное переключение состояний и очистку памяти.

5. Упаковка в готовый шаблон (Docker-образ)

  • Зафиксировать все настройки, переменные окружения, установленные библиотеки и сервер в форме готового Docker-образа.
  • Упаковать решение таким образом, чтобы развертывание на новом экземпляре (узел на требуемом количестве карт) происходило в половину клика, с минимальными первичными настройками.
  • Требование к масштабированию: шаблон должен работать без правок, копируя конфигурацию на любое количество машин с картами RTX 5090 (и одну, и несколько видеокарт).

Особое внимание

Любые названия брендов, фирм или контактов должны быть скрыты и заменены на "на модели такого-то типа и окружения" для соблюдения анонимности задания.

Результат

Получение продающего готового шаблона пользователя (User Template) на площадке, с подробной документацией внутри образа.