refactor: ♻️ Aumenta timeouts de ETLs de SM #66
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n')
bcbernardo
pushed a commit
that referenced
this pull request
Jul 25, 2023
Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n')
fernandesbrun
added a commit
that referenced
this pull request
Aug 3, 2023
Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n')
bcbernardo
added a commit
that referenced
this pull request
Aug 18, 2023
* Corrige função de extração dos profissionais * Corrige função de tratamento dos profissionais de saúde * Adiciona bloco try except na função extrair_profissionais_com_ine * Inclui bloco try/except para o erro json.JSONDecodeError * Inclui condições para identificar os horários dos estabelecimentos que tem funcionamento indicado como 'Sempre Aberto' * Inclui exceção para considerar a ausência de profisisonais em determinada competência durant ea extração * Corrige função para tratar tipos das colunas de data * Inclui tasks e flow do prefect * Refatora função que extrai os profissionais com INE * ETL dos profissinais de saúde com INE * Inclui função para extração dos profissionais com INE * Cria ETL para os profissionais totais * Cria função para extração dos profisisonais totais a partir da página do CNES * Implementa fluxos do ETL SCNES * Adiona novos argumentos de funções * Exclui módulo de carregamento * Exclui módulo de modelos para tabelas * Exclui etapas de tratamento e inclui novas funções * Adiona funções e refine construção do DataFrame * Adiciona argumentos à função principal * Exclui módulo de verificação de dados * Formata código baseado no padrão de esilo PEP8 * Comenta funções que utilizam a biblioteca dbfread * Atualiza biblioteca prefect para versão anterior * Salva bloco de infra do Docker * Adiciona params p/ salvar bloco Docker * Salva bloco de registro DockerHub * Exclui módulos que estão desuso na pipeline devido a redunção de uso de funções e de etapas de verificação de dados que não garantem integridade dos dados a serem inseridos * Adiciona método que registra o erro gerado e grava no banco de dados * Adiciona bloco try/except, novos argumentos de função e módulos e bibliotecas a serem importados * Retira bloco try/except, corrige argumentos de funções * Retira decorador de task do prefect corrigindo problemas de orquestração de fluxos * Adiona novos argumentos as funções de inicialização de ETLs puxando novas variaveis dos agendmaentos para realizar tratamento dos erros * Trata valores nulos ignorando na conversão tipos a atribuindo valor None * Refatora funções de tratamento para simplificação de etapas * Funções de extração e tratamento dos Relatórios de produção do SISAB * Extração e tratamento p/ bloco 06 do painel * Primeiras funções para extração dos dados para atualização do painel do AGP * Cria funções de ETL para os dados que irão compor o painel de produtividade do AGP * Adiciona função para o ETL dos dados de produção do AGP no script geral * Deleta arquivo de teste * Cria arquivo init.py * Adiciona tasks do prefeito na função principal * Especifica tipo de erro no módulo try/except * Corrige argumentos e chamada de funções * refactor: ♻️ Aumenta timeouts de ETLs de SM (#66) Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n') * fix: 🚑 Pula checagem de tamanho Comenta fora o trecho da função `extrair_dbc_lotes()` que checa se o tamanho do arquivo baixado é o mesmo que o do arquivo no servidor FTP, já que não tem havido mais downloads corrompidos desde o uso do ftplib, e a checagem de tamanho no servidor às vezes gera falha em alguns arquivos do FTP do DataSUS. * fix: ⬆️ Corrige erro de instalação do pyyaml Atualiza dependências para que a versão mais recente (>= 6.0.0) do pacote pyyaml seja instalada, evitando erro pela falta de suporte à PEP 517 * feat: 🗃️ Adiciona suporte a semáforos para escrita no banco de bancos * test: ✅ Adiciona testes para semáforos * feat: 🗃️ Adiciona exemplo de uso de semáforo em script de ETL * Corrige função de extração dos profissionais * Corrige função de tratamento dos profissionais de saúde * Adiciona bloco try except na função extrair_profissionais_com_ine * Corrige função para tratar tipos das colunas de data * Inclui tasks e flow do prefect * Refatora função que extrai os profissionais com INE * ETL dos profissinais de saúde com INE * refactor: ♻️ Aumenta timeouts de ETLs de SM (#66) Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n') * fix: 🚑 Pula checagem de tamanho Comenta fora o trecho da função `extrair_dbc_lotes()` que checa se o tamanho do arquivo baixado é o mesmo que o do arquivo no servidor FTP, já que não tem havido mais downloads corrompidos desde o uso do ftplib, e a checagem de tamanho no servidor às vezes gera falha em alguns arquivos do FTP do DataSUS. * fix: ⬆️ Corrige erro de instalação do pyyaml Atualiza dependências para que a versão mais recente (>= 6.0.0) do pacote pyyaml seja instalada, evitando erro pela falta de suporte à PEP 517 * feat: 🗃️ Adiciona suporte a semáforos para escrita no banco de bancos * test: ✅ Adiciona testes para semáforos * feat: 🗃️ Adiciona exemplo de uso de semáforo em script de ETL * feat: 🗃️ Adiciona semáforos em ETLs de SM Adiciona semáforos em ETLs de SM * feat: 🗃️ Adiciona semáforos em ETLs gerais relevantes para SM Adiciona semáforos em ETLs gerais relevantes para SM e corrige bug de typo no script saude_mental * fix: 🐛 Corrige erro de identação em ETL de CEPs * fix: 🐛 Define default para argumento de unidade geográfica em função Define default para argumento de unidade geográfica na função 'insere_erro_database' --------- Co-authored-by: maira <maaottoni@gmail.com> Co-authored-by: WaltMath <wmatheus.97@gmail.com> Co-authored-by: Bruna Fernandes <108029366+fernandesbruna@users.noreply.github.com> Co-authored-by: fernandesbruna <brunadesfernandes@gmail.com>
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n')