Profit Autumn Code 2022 Video Generator

Генарация видео по текстовому запросу в рамках участия в проекте Autumn Code 2022.

Демо веб-приложения доступно по ссылке.

About

Было создано веб-приложение для генерации релевантного видео по запросу на естественном языке. Целью работы является увеличения уровня счастья пользователя от просмотра таргетированных развлекательных видео. Другим важным сценарией использования является увеличение конверсии рекламных предложений с помощью генерации персональных превью роликов, генерация нарезок из длительных роликов для создания трейлеров.

Основная задача - обучить модель распознавать широкий спектр визуальных концепций в фрагментах видео и связывать их с именованиями на естественном языке.

Для обучения был использован маркированный набор Youtube видео.

The target audience

Потенциально неограниченная целевая аудитория

Structure

• cut_frames_and_calculate_embs.ipynb – ipython notebook for data preparation;
• indexer.ipynb — ipython notebook for video indexing

Models

• CLIP - neural network for calculating text-video relevance

Libraries

• pandas — software library in Python for data processing and analysis.
• numpy — software library in Python that adds support for large multidimensional arrays and matrices.
• nmslib - software library for similarity searching

Data:

Set of videos downloaded from Youtube