Skip to content

olartgabo/reactionsProject

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

3 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

Modelo Multimodal de Atención Visual y Respuesta Emocional

Sección de Inteligencia Artificial — Club de Neurociencia


Descripción General

Este proyecto desarrolla un sistema de inteligencia artificial capaz de predecir dos comportamientos humanos ante estímulos visuales:

  • Atención visual — dónde mira una persona al observar una imagen (mapa de saliencia)
  • Respuesta emocional — qué emociones experimenta al verla

Es una investigación interdisciplinaria que combina neurociencia cognitiva, visión por computadora y aprendizaje profundo. El objetivo no es solo analizar el comportamiento humano, sino construir un modelo computacional que lo aprenda y lo prediga.


Objetivos

Objetivo General

Desarrollar un modelo de IA que dado una imagen produzca:

imagen → mapa de atención visual + respuesta emocional

Objetivos Específicos

  • Diseñar y ejecutar experimentos de seguimiento ocular con 40–80 participantes
  • Construir un dataset multimodal original de atención visual y emociones
  • Implementar modelos de deep learning (CNN o Vision Transformer) para predicción de atención
  • Analizar la relación entre atención visual y respuesta emocional
  • Generar visualizaciones y herramientas de comparación humano vs. IA

Metodología

Recolección de datos

Los participantes observan una serie de 200–400 estímulos visuales (escenas naturales, arte, publicidad, diagramas educativos, contenido social) mientras el sistema registra:

Dato Descripción
Coordenadas de mirada Posición exacta de los ojos en pantalla
Duración de fijaciones Tiempo que el participante fija la mirada en cada zona
Scanpath Secuencia temporal de la exploración visual
Señales emocionales Métricas de emoción facial (alegría, tristeza, etc.)

Herramientas: iMotions (adquisición y sincronización de datos biométricos), hardware de eye tracking (e.g. Tobii).

Estructura del dataset

Cada muestra del dataset contiene:

imagen original
mapa de atención (gaze heatmap)
secuencia de fijaciones (fixation sequence)
vector de emociones (emotion vector)

Arquitectura del modelo de IA

El sistema usa una arquitectura de aprendizaje multitarea:

         ┌─────────────────┐
imagen → │  Image Encoder  │ → cabeza de atención  → mapa de saliencia
         │ (CNN / ViT)     │
         └─────────────────┘ → cabeza de emoción   → probabilidades emocionales

Pipeline del Sistema

iMotions → Recolección de datos
               ↓
         Procesamiento de datos
               ↓
         Construcción del dataset
               ↓
       Entrenamiento en AWS (EC2 GPU)
               ↓
         Sistema de predicción
               ↓
    Visualización / Aplicación demo

Stack Tecnológico

Área Tecnología
Recolección biométrica iMotions, Tobii (eye tracking)
Almacenamiento Amazon S3
Entrenamiento Amazon EC2 (g4dn.xlarge / p3.2xlarge)
Entrenamiento gestionado (opcional) Amazon SageMaker
Despliegue / Demo API (opcional) Amazon EC2
Frameworks ML Python, PyTorch / TensorFlow

Cronograma (16 semanas)

Fase Semanas Actividades
1 — Preparación 1–3 Revisión de literatura, diseño experimental, preparación de estímulos
2 — Recolección 4–7 Ejecución de experimentos, registro de eye tracking y emociones
3 — Procesamiento 8–10 Limpieza de datos, generación de mapas de atención, construcción del dataset
4 — Entrenamiento 11–13 Entrenamiento en AWS, evaluación de modelos
5 — Análisis 14–16 Visualización de resultados, redacción de informe técnico

Entregables

  1. Modelo de IA entrenado — predice mapas de atención y respuestas emocionales
  2. Dataset multimodal — imágenes + datos de mirada + etiquetas emocionales
  3. Código fuente — pipeline completo de procesamiento y entrenamiento
  4. Reporte técnico — documentación completa del proyecto
  5. Visualizaciones interactivas — herramientas de comparación humano vs. IA y aplicación demo

Presupuesto Estimado

Concepto Costo (USD)
Implementación inicial (materiales, almacenamiento) 100–200
Operación por semestre (laboratorio institucional) 0–50
AWS por ciclo de desarrollo (S3 + EC2 + opcional) 30–150
Total estimado 130–400

La infraestructura crítica (laboratorio de neurociencia, eye tracking, software biométrico) ya se encuentra disponible institucionalmente, lo que garantiza la viabilidad económica del proyecto.


Impacto Esperado

  • Investigación interdisciplinaria entre neurociencia e IA dentro de la universidad
  • Dataset experimental único, reusable y extensible para futuros proyectos
  • Fortalecimiento de capacidades técnicas de los miembros del club
  • Base para una línea de investigación en modelado computacional de percepción humana

Estado del Proyecto

Fase actual: Planificación completada

La documentación de propuesta, marco conceptual y presupuesto están listos. La implementación aún no ha comenzado.


Documentación Adicional

  • proyecto.md — Propuesta formal del proyecto (español)
  • context.md — Marco conceptual y arquitectura del sistema (inglés)
  • presupuesto.md — Presupuesto, plan de implementación e infraestructura (español)

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

 
 
 

Contributors