Paso 4

• Regresar

Pipelines

Fuentes ---> EC2 Import ---> Postgresql RDS ---> EC2 ETL ---> Redshift

Modelos

• RDS Data Lake
• Redshift

Control de calidad en Pipeline

• Logs ETL
• Logs Imports
• Logs Scripts RDS
• Logs Scripts Redshift
• Logs Test

Control de calidad en los datos

El modelo tiene llaves PK y FK, además los ETLs se encargan de verificar que los datos estén insertándose correctamente con los tipos de datos necesarios.

Pruebas de unidad

• Prueba unitaria con pytest

   pytest test_unitarysymbols.py 

• Prueba unitaria con unittest

   python3 -m unittest testConnection.py

Comprobaciones de fuente o conteo

Diccionario de datos

• Diccionario de datos Redshift
• Query para el diccionario de datos

Criterios de reproducibilidad