SCRIPT-GEN

Generación de videos de forma programática.

Ejemplo de uso

python src/generate_video.py --yaml <ruta_al_fichero_yaml>

Estilos generación de imágen: WIP (funcionan bien photo y analog)

Setup

Instalar ComfyUI - link
Instalar ComfyUI Manager (hace falta tener pip [uv pip install pip]) - link
Instalar nodos WAS (para poder tener nodo que guarda imagenes en directorio específico) - link
Descargar Flux1.dev - link1 link2
Poner ComfyUI en modo developer para poder exportar jsons de API

Crear entorno de python
Instalar dependencias de requirements.txt Descargar modelo de spacy python -m spacy download es_dep_news_trf (uv pip install pip) Poner en el .env

OPENAI_API_KEY=
11LABS_KEY=
TAVILY_KEY=

Coger cookies de TikTok con la extension "Get cookies.txt LOCALLY" y ponerlas en cookies -> accountname_platform.txt
Seguir el tutorial link para crear un OAuth v2.0 para subir videos a youtube con YouTube Data API v3

TODO LIST

GENERAL

• Logging exhaustivo de cada paso.

TEXTO

• Crear un script para generar el guión para un video de 1 minuto sobre un tema dado. Buscando información en internet (Wikipedia, Google, etc.). JSON formato de salida.
• Postprocesar texto de guión (números romanos a texto, números bien escrito con notación española, fonéticas nombres extranjeros).
• Meter un analizador de costes segun los tokens.
• Poner mi clave de OpenAI y modificar script de generación de guión.
• Modificar agente para que incluya pre-hooks y hooks.
• Migrar la generación de guiones a un funnel de teams de agentes.
  • Primero un team de agentes que busquen información en internet y generen un reporte con toda la información posible y relevante para contar una historia sobre ese tema.
  • Un segundo team de agentes creativos que elabore una idea que podria contar un video sobre ese tema.
  • Un tercer team de agentes que generen un guión de las narraciones a partir de la idea.
  • Un cuarto team de agentes que genere las ideas de las imágenes que se van a generar para cada sección del video.
  • Un quinto team de agentes encargados de hacer QA y mejorar el guión. (Hook inicial, resolución del hook final, call to action final y calidad de la historia contada).
• Hacer que la generación parta de un fichero yaml.
• Probar con clave de Google AI Studio gratis.

IMAGEN

• Crear un script para generar imágenes con Flux.dev. Apoyarse en ComfyUI o Hugging Face.
• Crear dos imagenes para cada sección del video.
• Encontrar prompts y estilos que funcionen muy bien para FLUX y añadirlos al team de agentes que generan los prompts.

AUDIO

• Meter voces de ElevenLabs.
• Acelerar ligeramente el audio para aumentar la retención.

VIDEO

• Crear video básico con las imágenes y el audio con MoviePy.
• Crear version full y versiones de menos de 60 segundos.
• Incluir efectos de zoom para mantener la atención del espectador.
• Generar subtítulos con Whisper anclandose en el guión para evitar errores.
• Incluir subtítulos en el video con animaciones palabra por palabra.
• Incluir transiciones entre las imágenes.

SOCIAL MEDIA

• Crear script de subida a TikTok
• Modificar agente de navegador selenium para que sea Chrome
• Crear script de subida a Youtube
• Crear script de subida a Instagram

LLM

Usando OpenAI: GPT-4o y o4-mini

TTS

Documentacion de ElevenLabs: https://docs.elevenlabs.io/

FLUX

Con ComfyUI: https://comfyanonymous.github.io/ComfyUI_examples/flux/ | https://docs.comfy.org/tutorials/flux/flux-1-text-to-image
Mejorar SDXL prompts: https://aituts.com/sdxl-prompts/
Flux prompt guide: https://fluxaistudio.com/blog/prompt-guide

MOVIEPY

moviePy v2.0: https://zulko.github.io/moviepy/getting_started/index.html

Youtube

Guide: https://www.youtube.com/watch?v=sp3qM2URcig
Docs: https://developers.google.com/youtube/v3/guides/uploading_a_video
Categories ID:
1 - Film & Animation
2 - Autos & Vehicles
10 - Music
15 - Pets & Animals
17 - Sports 18 - Short Movies
19 - Travel & Events
20 - Gaming
21 - Videoblogging
22 - People & Blogs
23 - Comedy
24 - Entertainment
25 - News & Politics
26 - Howto & Style
27 - Education
28 - Science & Technology
29 - Nonprofits & Activism
30 - Movies
31 - Anime/Animation
32 - Action/Adventure
33 - Classics
34 - Comedy
35 - Documentary
36 - Drama
37 - Family
38 - Foreign
39 - Horror
40 - Sci-Fi/Fantasy
41 - Thriller
42 - Shorts
43 - Shows
44 - Trailers