Implementa semáforos de escrita #68
Merged
Conversation
This file contains bidirectional Unicode text that may be interpreted or compiled differently than what appears below. To review, open the file in an editor that reveals hidden Unicode characters.
Learn more about bidirectional Unicode characters
…e tem funcionamento indicado como 'Sempre Aberto'
…nada competência durant ea extração
…de funções e de etapas de verificação de dados que não garantem integridade dos dados a serem inseridos
…liotecas a serem importados
Aumenta timeout_seconds para capturas de BPA-i, AIH e Procedimentos Ambulatoriais para evitar [Errno 110] Connection timed out\n')
Comenta fora o trecho da função `extrair_dbc_lotes()` que checa se o tamanho do arquivo baixado é o mesmo que o do arquivo no servidor FTP, já que não tem havido mais downloads corrompidos desde o uso do ftplib, e a checagem de tamanho no servidor às vezes gera falha em alguns arquivos do FTP do DataSUS.
Atualiza dependências para que a versão mais recente (>= 6.0.0) do pacote pyyaml seja instalada, evitando erro pela falta de suporte à PEP 517
Adiciona semáforos em ETLs de SM
Adiciona semáforos em ETLs gerais relevantes para SM e corrige bug de typo no script saude_mental
bcbernardo
commented
Aug 18, 2023
src/impulsoetl/scripts/geral.py
Outdated
| @@ -232,6 +305,23 @@ def ceps(teste: bool = False) -> None: | |||
| ceps_pendentes_query = ceps_pendentes_query.limit(10) | |||
| ceps_pendentes = ceps_pendentes_query.all() | |||
|
|
|||
| try: | |||
| checar_escrita_liberada( | |||
There was a problem hiding this comment.
Aqui tem uma indentação a mais, vai dar erro
There was a problem hiding this comment.
Corrigido no commit 88e9b89
src/impulsoetl/sisab/excecoes.py
Outdated
| @@ -30,10 +30,15 @@ class SisabErroCompetenciaInexistente: | |||
| def __init__(self,exception): | |||
| self.exception = exception | |||
|
|
|||
| def insere_erro_database(self,sessao,traceback_str,operacao_id,periodo_id): | |||
| def insere_erro_database(self,sessao,traceback_str,operacao_id,periodo_id,unidade_geografica_id): | |||
There was a problem hiding this comment.
Isso é da @maaottoni , mas como está vai dar erro em uma das alterações que ela fez. O argumento unidade_geografica_id deveria estar expresso como unidade_geografica_id="28de805e-5bdc-49c3-863c-2cf87f95e371", em vez de como argumento posicional (sem default).
There was a problem hiding this comment.
Corrigido no commit f3d7765
src/impulsoetl/sisab/excecoes.py
Outdated
Comment on lines
35
to
38
| if unidade_geografica_id is None: | ||
| unidade_geografica_id = '28de805e-5bdc-49c3-863c-2cf87f95e371' | ||
| else: | ||
| unidade_geografica_id = unidade_geografica_id |
There was a problem hiding this comment.
Desnecessário se o comentário acima for resolvido.
There was a problem hiding this comment.
Corrigido no commit f3d7765
Define default para argumento de unidade geográfica na função 'insere_erro_database'
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Add this suggestion to a batch that can be applied as a single commit.
This suggestion is invalid because no changes were made to the code.
Suggestions cannot be applied while the pull request is closed.
Suggestions cannot be applied while viewing a subset of changes.
Only one suggestion per line can be applied in a batch.
Add this suggestion to a batch that can be applied as a single commit.
Applying suggestions on deleted lines is not supported.
You must change the existing code in this line in order to create a valid suggestion.
Outdated suggestions cannot be applied.
This suggestion has been applied or marked resolved.
Suggestions cannot be applied from pending reviews.
Suggestions cannot be applied on multi-line comments.
Suggestions cannot be applied while the pull request is queued to merge.
Suggestion cannot be applied right now. Please check back later.
Utiliza a tabela recém-criada
configuracoes.capturas_semaforospara indicar combinações de unidades geográficas, períodos de referência e tabelas de dados públicos no banco de dados que estão sendo escritas no banco em cada momento, evitando que ocorram dois ETLs simultâneos com o mesmo conteúdo.Essa alteração evita a entrada de dados duplicados em tabelas onde não há chaves únicas.