ElectricSim es una plataforma orientada al monitoreo y análisis en tiempo real del consumo eléctrico en el Gran Buenos Aires (GBA). Este repositorio corresponde al módulo de adquisición, procesamiento y distribución de datos, encargado de integrar múltiples fuentes externas, normalizar la información y exponerla tanto para visualización como para consumo por modelos de machine learning.
El sistema está diseñado como un pipeline de datos continuo, desacoplado y escalable, utilizando Apache Kafka como backbone de mensajería para los flujos en tiempo real, y PostgreSQL para la persistencia de información histórica.
Características del proyecto
- Integración de múltiples fuentes de datos
- Procesamiento de datos en tiempo real
- Modelo predictivo basado en deep learning
- Inferencia bajo demanda
- Detección de anomalías en tiempo real
El sistema unifica información energética oficial, datos meteorológicos y variables astronómicas relevantes para el modelado del consumo eléctrico.
Los datos actuales son distribuidos mediante Apache Kafka, permitiendo desacoplar la recolección de datos del procesamiento analítico.
Una red neuronal feedforward permite estimar la demanda eléctrica a partir de variables climáticas, temporales y energéticas.
El sistema expone una API REST que permite realizar predicciones puntuales y simulaciones con datos de pronóstico.
Se detectan desvíos significativos entre valores reales y predichos mediante Server-Sent Events (SSE).
Beneficios
- Anticipación de picos de consumo
- Análisis energético integral
- Arquitectura escalable
- Aplicación educativa
Permite prever aumentos o caídas en la demanda eléctrica con antelación.
Combina variables ambientales, temporales y operativas en un único modelo.
El uso de Kafka permite escalar productores y consumidores de datos de forma independiente.
Sirve como base para el estudio de sistemas distribuidos y machine learning aplicado.
Tecnologías utilizadas
- Fuentes de datos
- CAMMESA API: datos oficiales de generación y demanda eléctrica
- OpenWeather API: variables meteorológicas
- Sunrise-Sunset API: información astronómica
- Streaming y mensajería
- Apache Kafka
- Kafka Streams
- Backend y procesamiento
- Spring Boot: recolección y exposición de datos
- Python + FastAPI: inferencia, detección de anomalías y SSE
- APIs HTTP/REST
- Server-Sent Events (SSE)
- Machine Learning
- TensorFlow / Keras
- Scikit-learn
- Pandas y NumPy
- Infraestructura
- Docker
- Docker Compose
ElectricSim se organiza en dos bloques funcionales principales:
- Recolección y distribución de datos: las fuentes energéticas, meteorológicas y astronómicas son consultadas de manera periódica por un backend desarrollado en Spring Boot. En este proceso, solo los datos en tiempo real son enviados hacia Apache Kafka, que actúa como sistema de mensajería y desacople entre productores y consumidores. Por otro lado, los datos históricos no pasan por Kafka: quedan disponibles directamente a través de un endpoint específico del backend, desde donde luego son consumidos para el proceso de entrenamiento del modelo. Paralelamente, los datos en tiempo real almacenados en Kafka se utilizan para la visualización continua mediante Grafana.
- Entrenamiento del modelo: los datos provenientes de Kafka (en tiempo real) y los datos históricos previamente almacenados son procesados mediante un módulo de preprocesamiento que limpia, transforma y organiza la información. Luego, estos datos alimentan un modelo de deep learning diseñado para predecir la demanda eléctrica. Una vez entrenado, el modelo se expone mediante una API que no solo permite realizar inferencias, sino que también ofrece un endpoint para la obtención de anomalías cada 5 minutos mediante SSE. Además, este bloque integra datos en tiempo real para reentrenar periódicamente el modelo con información más reciente, permitiendo que la red se adapte a los cambios actuales del sistema.
Este repositorio corresponde al módulo de adquisición, procesamiento y persistencia de datos de ElectricSim. La estructura del proyecto está organizada siguiendo una arquitectura modular, separando claramente las responsabilidades de cada componente del pipeline de datos.
ElectricSim-Data/ │ ├── src/ │ └── main/ │ ├── java/dev/str/electricsim/ │ │ ├── cache/ # Cache de datos auxiliares (feriados, calendarios, etc.) │ │ ├── client/ # Clientes HTTP para consumo de APIs externas │ │ ├── config/ # Configuración general (Kafka, Streams, Beans) │ │ ├── controllers/ # Endpoints REST para exposición de datos históricos │ │ ├── dto/ # Objetos de transferencia de datos │ │ ├── entity/ # Entidades persistidas en PostgreSQL │ │ ├── model/ # Modelos de dominio internos │ │ ├── producers/ # Publicadores de datos hacia Apache Kafka │ │ ├── repository/ # Acceso a datos y persistencia (JPA / PostgreSQL) │ │ ├── services/ # Lógica de negocio y orquestación │ │ ├── streams/ # Procesamiento y enriquecimiento de datos con Kafka Streams │ │ └── Application.java# Punto de entrada de la aplicación │ │ │ └── resources/ # Configuración y recursos de la aplicación │ ├── grafana/ # Dashboards y configuración de visualización ├── docker-compose.yml # Orquestación de servicios ├── Dockerfile # Imagen del servicio de datos ├── pom.xml # Dependencias del proyecto (Maven) ├── README.md # Documentación del módulo ├── init.sh # Script para levantar el proyecto ├── down.sh # Script para bajar el proyecto └── .env # Variables de entorno
Este repositorio contiene únicamente la implementación del pipeline de datos de ElectricSim:
- Recolección de datos desde APIs externas
- Publicación de eventos en Apache Kafka
- Procesamiento y enriquecimiento con Kafka Streams
- Persistencia de datos históricos en PostgreSQL
- Exposición de datos mediante API REST
El modelo de deep learning, la inferencia y la detección de anomalías se desarrollan en repositorios independientes.
Flujo general de ElectricSim
- Recolección de datos
- Publicación en Kafka
- Consumo y preprocesamiento
- Inferencia del modelo
- Detección de anomalías
- Reentrenamiento periódico
El backend consulta periódicamente las APIs de CAMMESA, OpenWeather y Sunrise-Sunset.
Los datos en tiempo real se publican en tópicos de Apache Kafka.
El backend analítico consume los datos, los limpia y los transforma.
El modelo de deep learning predice la demanda eléctrica.
Se comparan valores reales y predichos y se notifican desvíos mediante SSE.
El modelo se reentrena automáticamente con datos recientes.
ElectricSim-Data utiliza Docker y Docker Compose para simplificar la ejecución del entorno completo de desarrollo. Se crearon scripts que facilitan levantar los servicios.
Para construir las imágenes y levantar los servicios:
./init.shPara detener el entorno y liberar los recursos:
./down.sh-
Murray, Agustín
-
-
