ELT - Sample Data: TPC-H

El objetivo del proyecto es demostrar cómo construir una canalización ELT (Extract, Load, Transform) de forma práctica. Para ello se utilizaron herramientas como DBT (Data Build Tool) para la transformación, Snowflake para el almacenamiento de datos y Airflow para la orquestación. El proyecto pretende cubrir técnicas básicas de modelado de datos, como la creación de fact tables y data marts.

Schema del Dataset

Fuente: docs.snowflake.com/en/user-guide/sample-data-tpch

Tech Stack

• 
• 
• 
• 
• 
• 
• 

Setup de Snowflake

Worksheet

Configurar dbt_project.yml y packages

dbt_project.yml

Packages

Creación de fólders staging y marts dentro de carpeta models (Good Practice)

Creación de source y staging tables

Source

Staging Tables

Modelos transformados: Fact tables y Data marts

Fact Table

Data marts

Creación de Macros

Generic y Singular Tests

Generic Test

Singular Tests

Deploy usando Airflow y Astronomer Cosmos

Modificar Docker file y Requirements file

Docker File

Requirements File

Creación del DAG: dbt_dag.py

Creación de Conexión a Snowflake desde Airflow UI

¡Data Pipeline en acción!