Trabajo Final de Grado

Por Pablo Pérez González

Índice

1. Introducción
   • Tecnologías empleadas
2. Getting Started
   • Requisitos
   • Instalación
3. Uso
4. Licencia
5. Autor
6. Referencias

Introducción

Este es el repositorio donde está almacenado todo el código desarrollado en mi TFG.

Mi proyecto consiste en el desarrollo de una herramienta que utilice la Inteligencia Artificial para generar habitaciones automáticamente de forma tridimensional usando un proyecto en Unity. Para ello, se tuvo que desarrollar un conjunto de datos con el que posteriormente se entrenó un LoRA de Stable Diffusion. También se desarrolló una aplicación web con Flask que sea capaz de comunicarse con el modelo, generar una página web y permitir el acceso mediante APIs. Finalmente, también se desarrolló un proyecto en Unity que se conectó a la aplicación Flask.

Este repositorio se puede separar en:

• Script que genera el conjunto de datos.
• Aplicación web desarrollada en Flask.
• Proyecto en Unity.

(Volver arriba)

Tecnologías principales

• 
• 
• 

(Volver arriba)

Getting Started

Este proyecto no está pensado para ser instalado en múltiples dispositivos. De todos modos, si se quiere probar, a continuación se explicará como hacerlo.

Requisitos

Debe tener instalado y habilitado el siguiente software.

• Flask

  pip install Flask

• OpenCV

  pip install opencv-python

• ComfyUI - Instalación

• Unity - Descarga

Instalación

1. Clonar el repo

   git clone https://github.com/pablo-pg/TFG.git

2. Cree un proyecto en Unity.

3. Cree un objeto vacío e insértele el script.

4. Añada los prefabs y relaciónelos en el script, así como la URL de la API.

5. Descargue los modelos de IA a utilizar y almacénelos donde la documentación de ComfyUI lo indica.

• Modelo base usado - Stable Diffusion 1.5
• LoRA entrenado para este TFG

(Volver arriba)

Uso

Para el uso de este proyecto, debe tener varios servicios activados.

1. Ejecute ComfyUI - Repositorio
2. Cargue el workflow deseado.
3. Teniendo la configuración de desarrollador activada, le aparecerá el botón "Save (API Format)". Guarde el workflow o copielo en el portapapeles.
4. En la apliacación Flask, modifique app.py y en la variable DEFAULT_PROMPT_JSON pegue su workflow. La versión del repositorio contiene el workflow y modelos usados para el TFG.
5. Ejecute la aplicación Flask con python app.py.
6. En el proyecto en Unity actualice la dirección web de la API, por defecto está un enlace de prueba.
7. Estando ejecutándose ComfyUI y la aplicación Flask, ejecute el proyecto en Unity.

Licencia

Creado bajo MIT License. Ver LICENSE.txt para más información.

Autor

Pablo Pérez González - alu0101318318@ull.edu.es

Enlace del repo: https://github.com/pablo-pg/TFG

Referencias

• ComfyUI

(Volver arriba)