SubStyle AI - MVP v1 с интеграцией NVIDIA Parakeet ASR

SubStyle AI — это инновационное веб-приложение для автоматического создания, редактирования и профессиональной стилизации субтитров в коротких видео. Ориентированное на создателей контента для TikTok, Reels и YouTube Shorts, приложение превращает сырые видеозаписи в готовые вирусные ролики за считанные секунды.

SubStyle AI v1 ≠ видеоредактор SubStyle AI v1 = генератор стильных субтитров с минимальным видео-рендерингом

Всё, что не усиливает ключевую ценность «быстро получить вирусные субтитры» — убираем.

Особенности

• ИИ-Транскрибация: Автоматическое распознавание речи с высокой точностью с использованием NVIDIA Parakeet ASR модели
• Профессиональный стайлинг: Библиотека пресетов стилей и полная кастомизация
• Простой текстовый редактор: Интерактивный таймлайн для ручной правки текста
• Серверный рендеринг: Обработка видео происходит на сервере с использованием нативного FFmpeg
• Интуитивный UI/UX: Адаптивный интерфейс с dark mode и простым preview
• Поддержка временных меток: Точная синхронизация субтитров с аудио

Технологии

• React.js
• Canvas API или HTML overlay
• FFmpeg (серверный)
• NVIDIA NeMo toolkit с Parakeet моделью
• Node.js / Python (backend)

Установка

1. Клонируйте репозиторий:

git clone <repository-url>
cd substyle-ai

2. Установите зависимости:

npm install

3. Перейдите в директорию сервера и установите зависимости сервера:

cd server && npm install

4. Установите NVIDIA NeMo toolkit:

pip install nemo_toolkit[asr]

5. Запустите службу ASR в отдельном терминале:

cd server && python asr_service.py

6. Запустите основной сервер в новом терминале:

cd server && npm start

7. Запустите клиентскую часть в третьем терминале:

npm run dev

Приложение будет доступно по адресу http://localhost:3000

Для получения дополнительной информации о настройке службы ASR см. server/ASR_SETUP.md.

Сборка для продакшена

Для создания продакшен-сборки выполните:

npm run build

Для локального просмотра продакшен-сборки:

npm run preview

Структура проекта

substyle-ai/
├── components/           # React компоненты
│   ├── VideoUploader.jsx
│   ├── SubtitleEditor.jsx
│   ├── StyleEditor.jsx
│   ├── VideoRenderer.jsx
│   └── Timeline.jsx
├── services/             # Сервисы и API
│   └── transcriptionService.js
├── server/               # Серверная часть
│   ├── server.js         # Основной сервер
│   ├── asr_service.py    # Служба NVIDIA Parakeet ASR
│   ├── asr_client.js     # Клиент для связи с ASR
│   └── package.json
├── src/                  # Основной исходный код
│   ├── main.jsx
│   ├── App.jsx
│   └── style.css
├── public/               # Публичные ресурсы
├── package.json          # Зависимости и скрипты
└── README.md

Использование

1. Загрузите видеофайл (≤ 60 сек)
2. Приложение автоматически транскрибирует аудио с помощью NVIDIA Parakeet и создаст субтитры
3. Отредактируйте субтитры вручную при необходимости
4. Выберите стиль или настройте собственный
5. Используйте таймлайн для точной настройки синхронизации
6. Нажмите "Export Video" для создания финального видео
7. Скачайте готовое видео

Интеграция с NVIDIA Parakeet

Проект использует передовую модель NVIDIA Parakeet для транскрибации речи в текст. Модель обеспечивает:

• Высокую точность распознавания речи
• Поддержку временных меток на уровне символов, слов и сегментов
• Оптимизированную работу с CUDA (рекомендуется GPU)

Лицензия

MIT