Skip to content

Repository files navigation

English explanation

This project was developed for the course "Data Engineering" at the E-Learning Centre of the National Tecnological University (UTN).

The main objective of the project was to create a Jupyter Notebook that:

  1. Connect to an API and extract the raw data from its endpoints (In this case, JSON responses).
  2. Transform this raw data into a structured format and storing in a Parquet format.
  3. Store the results into a Data Lake schema.

Although it's a simple project, it shows a typical ETL pipeline, extracting data from an API, processing it, and storing it for a possible later use. It highlights how raw information can be turned into valuable insights.

PD: It has few commits because i learn to use GIT after the course end.

Spanish explanation

Este proyecto fué desarrollado para el curso "Data Engineering" del Centro de E-Learning de la Universidad Tecnológica Nacional (UTN).

El objetivo principal del proyecto fué crear un Jupyter Notebook que permita:

  1. Conectarse a una API y extraer los datos crudos desde sus endpoints (En este caso, respuestas en formato JSON).
  2. Transformar los datos en un formato estructurado y almacenarlos en formato Parquet.
  3. Almacenar los resultados en un esquema Data Lake.

Aunque se trate de un proyecto sencillo, muestra el funcionamiento de un pipeline ETL, donde se extraen datos desde una API, procesando y almacenando para su posterior uso. Muestra cómo la información cruda puede convertirse en datos con valor real.

PD: Pocos commits fueron realizados porque aprendí a utilizar GIT luego de que el curso termine.

About

Project made with the Data Engineering course from the Center of E-Learning from the National Tecnological University.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages