This project was developed for the course "Data Engineering" at the E-Learning Centre of the National Tecnological University (UTN).
The main objective of the project was to create a Jupyter Notebook that:
- Connect to an API and extract the raw data from its endpoints (In this case, JSON responses).
- Transform this raw data into a structured format and storing in a Parquet format.
- Store the results into a Data Lake schema.
Although it's a simple project, it shows a typical ETL pipeline, extracting data from an API, processing it, and storing it for a possible later use. It highlights how raw information can be turned into valuable insights.
PD: It has few commits because i learn to use GIT after the course end.
Este proyecto fué desarrollado para el curso "Data Engineering" del Centro de E-Learning de la Universidad Tecnológica Nacional (UTN).
El objetivo principal del proyecto fué crear un Jupyter Notebook que permita:
- Conectarse a una API y extraer los datos crudos desde sus endpoints (En este caso, respuestas en formato JSON).
- Transformar los datos en un formato estructurado y almacenarlos en formato Parquet.
- Almacenar los resultados en un esquema Data Lake.
Aunque se trate de un proyecto sencillo, muestra el funcionamiento de un pipeline ETL, donde se extraen datos desde una API, procesando y almacenando para su posterior uso. Muestra cómo la información cruda puede convertirse en datos con valor real.
PD: Pocos commits fueron realizados porque aprendí a utilizar GIT luego de que el curso termine.