Paso 3
El siguiente modelo es un híbrido entre Relacional y Dimensional. El modelo Relacional fue planteado en tbTradingHistoric para optimizar el espacio utilizado en esta tabla, ya que tiene casi 1 millón de registros; El modelo Dimensional fue planteado para tbTickers para optimizar procesos de consulta en herramientas de visualización.
- Fuentes:
- Yahoo Finance es una fuente conocida y confiable para la extracción de datos financieros, y su capa gratuita ofrece la ventana necesaria para los datos requeridos
- EC2:
- Amazon EC2 es una herramienta flexible que permite la ejecución de scripts de python, lenguaje con el que se realizaron la mayoría de tareas propuestas, es por ello que es una elección confiable, además el uso de crontab permite programar ejecuciones, esto es necesario al momento de estar obteniendo datos financieros en tiempo real.
- También generé los procesos de ETL en Python, por lo que esta única instancia fue suficiente para todas las tareas propuestas en el ejercicio
- PostgreSQL RDS:
- RDS es un servicio que tiene gran cohesión con EC2, además el uso de PostgreSQL asegura un gran rendimiento e integridad de los datos.
- Redshift
- Es un servicio diseñado para el análisis de grandes volúmenes de datos, teniendo en cuenta la escalabilidad posterior del proyecto y el enfoque al análisi del mismo, me pareció una decisión óptima.
Se plantea una frecuencia diaria de actualización en la tabla tbTradingHistoric desde la API, ya que los datos de trading se actualizan al cierre de bolsa.