Projeto AirFlow

Coletando dados de uma API(Pares de Moedas) e fazendo a ingestão dos dados em um Banco de Dados.

Informações do Projeto

1. API Utilizada: API
2. Banco de Dados*: PostgreSQL 13 (Via Docker - postgres:13)
3. Airflow: Airflow 2.8.3 (Via Docker - apache/airflow:2.8.3)

• *Foi Criado dois banco de dados

• 1. moedas_dl(DataLake) -> Schema(moedas)

• 2. moedas_dw(DataWarehouse) -> Schema(moedas)

• Conexões aos banco de dados:

1. airflow(postgres-airflow_dl) -> Postegres(BD -> moedas_dl): user: etl_airflow_dl | password: *****
2. airflow(postgres-airflow_dw) -> Postegres(BD -> moedas_dw): user: etl_airflow_dw | password: *****

Planejamento

• Coletar os dados da API (Em Produção)
• Data Quality (Em Desenvolvimento)
• Salvando os dados no Datalake (Em Produção)
• Filtrando os dados salvos no Datalake (Em Produção)
• Salvando os dados no Datawarehouse (Em Produção)
• Criando aplicação em flask com os dados (Em Desenvolvimento)

Itens Essenciais

Pré-requisitos

• VSCode: É o editor de código que irei utilizar Instruções aqui.
• Pyenv: É usado para gerenciar versões do Python. Instruções de instalação do Pyenv aqui. Vamos usar nesse projeto o Python 3.11.3. Para usuários Windows, é recomendado assistirem esse tutorial Youtube.
• Poetry: Este projeto utiliza Poetry para gerenciamento de dependências. Instruções de instalação do Poetry aqui.
• Docker: O Docker é uma plataforma open source que facilita a criação e administração de ambientes isolados. Iremos utilizar o Docker para implantação do AirFlow e do PostgreSQL. Intruções sobre o Docker Desktop aqui.

Instalação e Configuração

1. Criando o diretório do projeto

mkdir ENG-AirFlow
cd ENG-AirFlow

2. Clone o repositório:

git clone https://github.com/Prog-LucasAlves/ENG-AirFlow.git

3. Configurar a versão do Python com pyenv:

pyenv install 3.11.3
pyenv local 3.11.3

4. Configurar o poetry:

poetry init
poetry shell

5. Instalando as dependências do projeto:

poetry install

6. Executando Docker

docker-compose up -d

Contato

• ISSUES AQUI
• LinkedIn AQUI

Github