[FEAT] ETL Completo e nova estrutura do banco de dados#14
Merged
BPThiago merged 29 commits intoBPThiago:mainfrom Jun 29, 2025
Merged
[FEAT] ETL Completo e nova estrutura do banco de dados#14BPThiago merged 29 commits intoBPThiago:mainfrom
BPThiago merged 29 commits intoBPThiago:mainfrom
Conversation
era utilizada no destination
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
extraindo com o source do airbyte, tratando os dados no dump do cache e carregando no banco #35
banco de dados agora inicializa criando as tabelas necessárias #35
assignees traz mais usuarios para cadastrar no banco e branches... traz branches. #35
airbyte envia os dados de cache para serem tratados e carregados no banco #35
centralizando todo processo de ETL e agora é possivel modificar repos, streams e github token em execução pelos get e set
previne os erros do destination
…uivo de transform/load (airbyte_db.py)
…o back-end copia o requirements.txt e executa o pip install, invez de copiar o projeto inteiro. Pasta do projeto agora é inseria no docker-compose.yml
DB_AB_DESTINATION_HOST
teste se ira normalizar os testes no pr
This file contains hidden or bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.This suggestion is invalid because no changes were made to the code.Suggestions cannot be applied while the pull request is closed.Suggestions cannot be applied while viewing a subset of changes.Only one suggestion per line can be applied in a batch.Add this suggestion to a batch that can be applied as a single commit.Applying suggestions on deleted lines is not supported.You must change the existing code in this line in order to create a valid suggestion.Outdated suggestions cannot be applied.This suggestion has been applied or marked resolved.Suggestions cannot be applied from pending reviews.Suggestions cannot be applied on multi-line comments.Suggestions cannot be applied while the pull request is queued to merge.Suggestion cannot be applied right now. Please check back later.
📄 Descrição
Adicionando nova estrutura do banco
Contêiner do Postgres agora iniciando criando as tabelas necessárias.
Classe ETL lida com tudo relacionada à extração, transformação e carregamento de dados:
Back-end agora copia somente o arquivo requirements.txt e roda o pip install. Isso remove a necessidade de apagar a imaegem ao modificar o código.
🔗 Tarefa(s) Relacionada(s)
🚀 Como testar este PR?
Deletar: