Paso 4

• Regresar

Pipelines

Fuentes ---> [EC2 Import] (https://github.com/jumcorrealo/FinancialProjectNequi/tree/main/imports) ---> Postgresql RDS ---> EC2 ETL ---> Redshift

Modelos

• RDS Data Lake
• Redshift

Control de calidad en Pipeline

• Logs ETL
• Logs Imports
• Logs Scripts RDS
• Logs Scripts Redshift
• Logs Test

Control de calidad en los datos

El modelo tiene llaves PK y FK, además los ETLs se encargan de verificar que los datos estén insertándose correctamente con los tipos de datos necesarios.

Pruebas de unidad

• Prueba unitaria con pytest

   pytest test_unitarysymbols.py 

• Prueba unitaria con unittest

   python3 -m unittest testConnection.py

Comprobaciones de fuente o conteo

Diccionario de datos

• Diccionario de datos Redshift

Criterios de reproducibilidad