-
Notifications
You must be signed in to change notification settings - Fork 0
Paso 5
El proyecto tiene como objetivo dar data de trading para propósitos de análisis, esto puede ayudar a tareas de distribución de cartera o tareas de decisiones económicas en torno a los datos arrojados. También se puede usar la data para entrenar modelos o usar algoritmos preexistentes, así pues, el modelo planteado se centra en la rápida consulta de los datos.
Hay muchas preguntas que se pueden realizar con esta data, algunas de ellas pueden ser:
- ¿Qué acciones han tenido mejor rendimiento porcentual en lo que lleva de año?
- ¿Qué índices son los que mejor rendimiento tienen?
- ¿Cuáles son las acciones más estables en el mercado?
- ¿Cuál es el mercado con más crecimiento en una ventana de tiempo?
Un modelo dimensional tiene gran ventaja al momento de realizar consultas, el tiempo de respuesta en problemas de trading es fundamental a la hora de tomar decisiones precisas y rápidas, no obstante también hay que tener en cuenta la capacidad de la base de datos, y un modelo relacional en el mismo es necesaria para manejar grandes volúmenes de datos.
- AWS tiene servicios de escalamiento automático, esto permitiría que los importadores y las ETLs alojadas en EC2 soporten la carga, esto se puede lograr utilizando herramientas de ayuda como Auto Scaling.
- Se debe verificar la capacidad de las instancias de EC2 para la carga, en dado caso se debería migrar a instancias más grandes o incluso, servicios auto gestionados como AWS Glue que ofrece escalamiento automatizado.
- Se debe evaluar si la cantidad de datos es soportada por Postgresql, pues en dado caso se puede usar un servicio más robusto como Amazon Aurora.
- El uso de Apache Hadoop para el manejo de grandes cantidades de datos también puede ser una buena alternativa.
- Verificar la alternativa de trabajo con data NoSql.
- Hay que verificar el costo de la api de YFinance, ya que esta en su capa gratuita no soporta tantos llamados al día.
- Se puede considerar una ejecución con crontab para los importadores y los ETLs.
- Otra solución factible es el uso de AWS Data Pipeline o Apache Airflow para gestionar el flujo de trabajo, asegurando así una ejecución oportuna.
En este caso, el uso de Aurora es más recomendable para el manejo de los datos.
- Apache tiene herramientas como Apache Kafka para gestionar este tipo de procesamientos, también se pueden realizar con servicios como AWS Kinesis.
- Se puede incluir teconologías como Apache Spark para generar un streaming de datos en las ETLs.