ANIMAT VIDEO

AI-Agent for generating a stylized video with sound

Automation of the process of creating videos in 2D and 3D styles, including descriptions, background music, and final assembly

Что такое ANIMATUP?

ANIMATUP — это система трансформации видео на базе искусственного интеллекта, которая преобразует сырые видеоматериалы в стилизованный анимированный контент с автоматически сгенерированной фоновой музыкой. Система применяет модели глубокого обучения для повторного рендеринга видеоконтента в различных художественных стилях (2D аниме и 3D-реалистичность), сохраняя при этом временную целостность и визуальное качество.

Система работает как многоступенчатый конвейер, где каждый этап реализуется как независимый скрипт на Python. Сырые видео разлагаются на кадры, анализируются на предмет содержания, регенерируются в целевых стилях и собираются с синтезированным аудио в итоговый результат.

1) ПОДГОТОВКА ДАННЫХ

Задача: Превратить набор сырых видео в готовый, аннотированный датасет для обучения.Используя Spark, Python и ML (BLIP).

1: Нарезка видео на кадры с помощью Spark

• Вход: ZIP-архив с видеофайлами.
• Действие: Использует Spark для распараллеливания процесса и извлечения кадров из каждого видео.
• Выход: Папка extracted_frames, содержащая сотни или тысячи изображений .jpg.

2: Автоматическое создание описаний к фото

• Вход: Папка extracted_frames с изображениями.
• Действие: Использует нейросеть BLIP для "просмотра" каждого изображения и генерации текстового описания.
• Выход: Для каждого image.jpg создается файл image.txt с описанием.

2) ГЕНЕРАЦИЯ ВИЗУАЛЬНЫХ АССЕТОВ

Задача: Создать базовой картинке в 2D или 3D стилях.

3) Генерация картинок с высокой деталезацией

Задача: Создать базовые видеоклипы в 2D и 3D стилях.

4) Генерация 2D-кадра и "оживление" в видео

• Вход: LoRA-модели с Google Drive.
• Действие: Создает один идеальный 2D-кадр например в стиле "Bleach", а затем "оживляет" его с помощью SVD, сохраняя кадры на диск для экономии памяти.
• Выход: Папка generated_frames_2d с кадрами для 2D-видео.

1.mp4

gg.mp4

5) Генерация музыки и финальный монтаж

• Вход: Папки с кадрами (generated_frames_2d и generated_frames_3d).
• Действие: Генерирует фоновую музыку с помощью AudioLDM 2. Затем с помощью MoviePy собирает видеоклип, накладывает на видео музыку и склеивает в один финальный фильм.
• Выход: Финальный файл final_movie.mp4.

0911.2.mp4