[Evostar2015][MADE] Definición de objetivos, título y abstract

[fergunet]

Asigno a @raiben a este issue, aunque deberíamos colaborar todos los miembros de @geneura-papers/made-team

Título: Usando X para resolver el problema Y en generación de tramas

Hipótesis: usar Z (medible) ayuda a...

1. Dominio general: Este artículo propone un método a aplicar en problemas basados en creación de tramas para (lo que sea)
2. Dominio de la solución: En este paper, nos centramos en generación de tramas en mundos definidos por una serie de parámetros que...
   Métrica que mide Z. Algoritmo que hace...
3. Implementación

Conclusiones: Hemos hecho esto, que funciona por la razón Z, ya que Z mide...

@raiben ve proponiendo los objetivos que quieres cumplir con este paper, y una métrica (medible) que permita llegar a unas conclusiones. Deberías actualizar el estado del arte a ver si hay alguna métrica ya propuesta para medir el "interés", por ejemplo (mira el correo de @JJ de este finde). Vamos a ir actualizando el texto de arriba en este issue para tenerlo siempre a la vista.

[JJ]

@raiben nos quedan tres días...

[amorag]

Este artículo de qué va en 'palabras llanas'.

Con tanto 'tecnicismo' no me aclaro.

¿Es en el que se quería aplicar PG?

[rhgarcia]

Me he reunido con @fergunet y hemos pensado esto. @JJ échale un vistazo a ver qué opinas.

Hipótesis: El interés de las tramas generadas por un sistema multiagente mejora si se optimiza mediante un algoritmo genético cuyo fitness use los arquetipos encontrados en dichas tramas.

1. Dominio general: Este artículo propone un método para generar masivamente tramas coherentes e interesantes en personajes secundarios
2. Dominio de la solución: En este artículo, nos centramos en generación de tramas en mundos definidos por una serie de parámetros que definen un sistema multiagente donde cada agente está modelado como una máquina de estados finitos, que dé como resultado un conjunto de tramas.
   Métricas:
   Método: Medir el interés de la población (con cada métrica) en diferentes generaciones y comprobar si aumenta durante la evolución.
   Métricas: El interés se mide con distitas funciones de propuestas por los autores de los papers que hay que leerse (7 artículos recién impresos). Se podría incluir una métrica guiada por humanos.

Conclusiones: Hemos propuesto una métrica basada en arquetipos que aumenta el interés de la población durante la evolución (demostrado por distintas métricas presentes en la literatra). Esto podría aplicarse a otros métodos de generación de historias distintos al nuestro.

[amorag]

Hola a todos,

No pude asistir a vuestra reunión el otro día… :_(

Me parece muy interesante la idea del artículo.

A falta de ver las métricas que proponen los otros autores, respecto a la métrica basada en humanos se podría implementar un algoritmo interactivo, como hemos hecho en Málaga para el bot de la competición BotPrize.

Se trataría de habilitar una forma de que un humano intervenga en cualquier momento de la evolución (o en momentos predeterminados), que se le muestra información de cómo va el algoritmo (en base a esas métricas que comentáis o a información general que sea interesante), y que se le permita interactuar con el algoritmo.

Nosotros contemplamos dos tipos de interacción (o dos tipos) de controladores humanos (experto en el algoritmo y experto en el juego).

De esta forma, el humano podría:

1.  ‘configurar manualmente’ el algoritmo (cambiando probabilidades y parámetros) para mejorar su evolución
   

2.  Valorar los resultados obtenidos hasta el momento. Es decir, hacer de ‘métrica’. Luego, en base a su opinión, se buscaría generar individuos que se asemejen a aquellos que haya valorado positivamente el humano. Si no se quiere que éste controlador interactúe continuamente. 
   

No sé si me he explicado, jeje.

Pero bueno, si os parece bien y tenéis dudas, aquí estoy. ;D

¡Taluego!

De: Rubén Héctor [mailto:notifications@github.com]
Enviado el: martes, 21 de octubre de 2014 19:53
Para: geneura-papers/2015-Evostar
CC: Antonio Mora
Asunto: Re: [2015-Evostar] [Evostar2015][MADE] Definición de objetivos, título y abstract (#2)

Me he reunido con @fergunet https://github.com/fergunet y hemos pensado esto. @JJ https://github.com/JJ échale un vistazo a ver qué opinas.

Hipótesis: Usar arquetipos como fitness genera historias interesantes

1. Dominio general: Este artículo propone un método para generar masivamente tramas coherentes e interesantes en personajes secundarios
2. Dominio de la solución: En este artículo, nos centramos en generación de tramas en mundos definidos por una serie de parámetros que definen un sistema multiagente donde cada agente está definido por una máquina de estados finitos, que de como resultado un conjunto de tramas.
   Métricas:
   Método: Medir el interés de la población (con cada métrica) en diferentes generaciones y comprobar si aumenta durante la evolución.
   Métricas: El interés se mide con distitas funciones de interés propuestas por los autores de los papers que hay que leerse (7 artículos recién impresos). Se podrá incluir una métrica guiada por humanos.

Conclusiones: Hemos propuesto una métrica basada en arquetipos que aumenta el interés de la población durante la evolución (demostrado por distintas métricas presentes en la literatra). Esto podría aplicarse a otros métodos de generación de historias distintos al nuestro.

—
Reply to this email directly or view it on GitHub #2 (comment) . https://github.com/notifications/beacon/3063386__eyJzY29wZSI6Ik5ld3NpZXM6QmVhY29uIiwiZXhwaXJlcyI6MTcyOTUzMzIwOCwiZGF0YSI6eyJpZCI6NDU3NjQ5MjV9fQ==--074663a8b0d9cb55f0ffbb32fe4247f81a7adc55.gif

No se encontraron virus en este mensaje.
Comprobado por AVG - www.avg.com
Versión: 2013.0.3485 / Base de datos de virus: 4031/8427 - Fecha de publicación: 10/21/14

---

No se encontraron virus en este mensaje.
Comprobado por AVG - www.avg.com
Versión: 2013.0.3485 / Base de datos de virus: 4031/8377 - Fecha de publicación: 10/12/14
Base de datos de virus interno no está actualizado.

[fergunet]

@amorag Sí, Rubén ya está pensando un sistema para evaluación usando javascript en el navegador y tiene pendiente una reunión con dos guionistas de un grupo de la Facultad de Psicología en breve. De todas maneras, no sé si dejar lo de la interacción humana para una extensión para revista por falta de tiempo.

@JJ revisa los objetivos para cerrar el issue y ponernos a escribir la intro y abstract.

@raiben recuerda este finde leer los papers de métricas.

[JJ]

Hipótesis: El interés de las tramas generadas por un sistema multiagente mejora si se optimiza mediante un algoritmo genético cuyo fitness use los arquetipos encontrados en dichas tramas.

Mejora ¿con respecto a qué?

1. Dominio general: Este artículo propone un método para generar masivamente tramas coherentes e interesantes en personajes secundarios

Pero tenéis que distinguirlo con respecto al ya publicado en ALIFE. ¿En qué se diferencia?

2. Dominio de la solución: En este artículo, nos centramos en generación de tramas en mundos definidos por una serie de parámetros que definen un sistema multiagente donde cada agente está modelado como una máquina de estados finitos, que dé como resultado un conjunto de tramas.

¿No lo estaba ya en la versión anterior? Realmente, ¿qué es lo que queréis hacer?

:

Método: Medir el interés de la población (con cada métrica) en diferentes generaciones y comprobar si aumenta durante la evolución.

Primero, no tenéis una historia. Tenéis simplemente plot points, que es lo que le ha sucedido. Igual es mejor, porque es más fácil generar a partir de ahí el interés, pero no estaría tan seguro.

Métricas: El interés se mide con distitas funciones de propuestas por los autores de los papers que hay que leerse (7 artículos recién impresos). Se podría incluir una métrica guiada por humanos.

¿Qué? ¿Estáis fiándolo todo a un artículo que todavía no habéis leído? ¿Y si la representación de la historia es más complicada que sacar adelante una versión más sistemática del MADE que hay ahora mismo? Además, nosotros no optimizamos el interés: se optimiza su adaptación a unos arquetipos. En ese sentido, el interés puede ser el mismo al principio y al final... ¿Cómo optimizas el interés una vez que lo has obtenido evolucionando los arquetipos?

Conclusiones: Hemos propuesto una métrica basada en arquetipos que aumenta el interés de la población durante la evolución (demostrado por distintas métricas presentes en la literatra). Esto podría aplicarse a otros métodos de generación de historias distintos al nuestro.

No. Habéis propuesto la métrica basada en arquetipos para generar una historia que se adapte al entorno que queréis obtener. No tiene nada que ver con el interés. El interés se puede usar luego para extraer historias del mundo una vez terminado Pero no para optiizar.

De veras, es muy tarde para ponerse a guiar la investigación en otra dirección diferente. @raiben si quieres usar las métricas (si es que te puedes leer finalmente los papers) úsalas para extraer historias del mundo generado según el método que tenemos ahora mismo Por cierto, leer lo que dice @amorag que por esta vez y sin que sirva de precedente, tiene toda la razón. Tenéis que obtener un buen algoritmo genético que haga lo mismo, que hasta ahora no se ha hecho ningún tipo de análisis del algoritmo en sí ni tenemos ningún tipo de garantía que lo obtenido hasta ahora sea la solución óptima o al menos una lo suficientemente buena.

[fergunet]

Antes de empezar, y para matizar, hemos visto en varios sitios que:
Trama = A MATAR B.
Historia = "El héroe A(lberto) mata al malvado B(enjamín)".

Habéis propuesto la métrica basada en arquetipos para generar una historia que se adapte al entorno que queréis obtener. No tiene nada que ver con el interés. El interés se puede usar luego para extraer historias del mundo una vez terminado Pero no para optiizar.

Correcto, no vamos a usar las métricas de interés para optimizar, vamos a seguir usando nuestro fitness como hasta ahora. Lo que queremos es demostrar que nuestro fitness genera tramas interesantes. Es decir, nosotros dijimos en el ALIFE "proponemos un fitness que usa el número de arquetipos en la población" y punto, pero en ningún momento demostramos que ese fitness de verdad puede usarse para generar tramas (y a partir de ahí, historias) interesantes. La idea es usar una métrica de interés ya definida por otros expertos en literatura (la de los artículos) que mida, por ejemplo, la población inicial (y dará, yo que sé un 0.3 de interés) y al final de la evaluación (dará un, pongamos un 7.8). Por lo tanto demostramos que nuestro fitness basado en arquetipos ayuda a la evolución.

O sea, que sí que vamos a hacer lo que dices en

De veras, es muy tarde para ponerse a guiar la investigación en otra dirección diferente. @raiben si quieres usar las métricas (si es que te puedes leer finalmente los papers) úsalas para extraer historias del mundo generado según el método que tenemos ahora mismo

Vamos, que no vamos a cambiar nuestro fitness por ningún otro, es demostrar que está bien escogido.

¿Como lo veis, @JJ @amorag ?

[JJ]

Vamos, que no vamos a cambiar nuestro fitness por ningún otro, es demostrar
que está bien escogido.

¿Como lo ves?

Mal si no sabéis todavía la métrica, bien si ya sabéis la métrica y la
estáis aplicando.

Insisto, todavía no hay

1. Una forma sistemática de deducir el fitness a partir del tipo de trama
   que queremos.
2. Una forma sistemática de encontrar un mundo que maximice ese fitness, ni
   de evaluar el algoritmo genético que se usa para el mismo. No se ha
   explorado el espacio de poblaciones, tamaños, número de perfiles...
3. Una forma sistemática de convertir los logs del mundo en historias, ni
   siquiera de seleccionar cuáles logs se van a convertir en historias.

Cuando se solucionen 1 y 2 y se tenga una idea de por dónde va a ir 3,
entonces nos meteremos en las métricas de interés, pero antes hay que
saber cuáles son esas métricas

[rhgarcia]

Hola a todos,

Reescribo los objetivos según lo hablado con @JJ en (https://github.com/raiben/made/commit/8e7ba6b86fdaa45a8d13fee9e94a9a39145f4330#commitcomment-8306760)

Objetivo ya demostrado en "my life as a sim" (es base del paper actual, no un objetivo de éste):
"Dado un trasfondo, somos capaces de modelar un fitness que nos permita generar eventos/puntos de trama que sean coherentes con el trasfondo buscado".

Objetivos del nuevo paper:
1.- "Podemos encontrar la mejor configuración del GA, usando para ello diferentes experimentos, explorando el espacio de poblaciones, tamaños y nº de perfiles".
2.-"Podemos seleccionar los eventos relevantes para la narración".

Objetivo extra (si diese tiempo):
3.- "Los eventos seleccionados (y su interpretación mediante arquetipos) son evaluados satisfactoriamente por un conjunto de personas".

Comenzamos a escribir abstract (#11) y a definir los nuevos experimentos (#12).

Saludos y gracias

[JJ]

No me acaba de convencer el planteamiento, pero si hago algún cambio directamente sobre el paper.