[WIP][smtr] fix: corrigir código de recaptura #128

fernandascovino · 2022-07-28T01:31:06Z

Closes #126

Changelog:

registros_logs: Adicionar busca pelos minutos sem timestamp_captura (além de erros capturados nos logs)
upload_logs: Corrige status para registro dos logs

TODO:

Merge de ajustes nas falhas de captura [smtr] fix: ajustar busca de falhas da captura #127
Alterar schedule para ~2:05
Testar a pipeline completa (recaptura + materialização)

github-actions · 2022-07-28T01:35:33Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-07-28T16:44:43Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-07-28T17:29:59Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-07-28T17:40:47Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-07-28T17:57:09Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-07-28T18:38:14Z

===> 3 convention(s) found:

convention [C0103] Variable name "df" doesn't conform to snake_case naming style (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:110:12)
convention [C0103] Variable name "df" doesn't conform to snake_case naming style (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:126:8)
convention [C0103] Variable name "df" doesn't conform to snake_case naming style (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:126:13)
===> 1 refactor(s) found:
refactor [R0914] Too many local variables (16/15) (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:49:0)

github-actions · 2022-07-28T18:38:27Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-07-28T18:42:08Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-07-28T18:42:44Z

===> 3 convention(s) found:

convention [C0103] Variable name "df" doesn't conform to snake_case naming style (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:110:12)
convention [C0103] Variable name "df" doesn't conform to snake_case naming style (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:126:8)
convention [C0103] Variable name "df" doesn't conform to snake_case naming style (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:126:13)
===> 1 refactor(s) found:
refactor [R0914] Too many local variables (16/15) (pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/tasks.py:49:0)

github-actions · 2022-07-28T19:16:58Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-07-28T19:34:07Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-07-28T20:40:06Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-07-28T20:40:31Z

===> 1 refactor(s) found:

refactor [R0914] Too many local variables (17/15) (pipelines/rj_cor/comando/eventos/tasks.py:85:0)

github-actions · 2022-07-28T20:58:09Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-07-29T02:16:36Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-07-29T02:16:40Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

fernandascovino · 2022-07-29T02:27:43Z

Changelog:

Adiciona parâmetro de datetime_filter no flow, para recapturar qualquer timestamp manualmente (nas ultimas 24h)
Corrige lógica de catch e upload de erros:
- bq_upload retorna erro que foi passado das tasks anteriores
- upload_logs_to_bq recebe erro consolidado da bq_upload
Fixa timestamp da captura em pre_treatment_br_rj_riodejaneiro_onibus_gps e upload_logs_to_bq
- Na captura, é passado como timestamp o retorno da create_current_date_hour_partition (1a task)
- Na recaptura, é passado como timestamp a lista de timestamps falhadas retornada pela query_logs

github-actions · 2022-08-02T14:23:30Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-08-02T14:24:20Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-02T21:55:21Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-08-02T21:55:25Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T14:24:56Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-08-04T14:25:24Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T16:58:02Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-08-04T16:58:06Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T18:53:46Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-08-04T18:53:51Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T18:59:40Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T18:59:45Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-08-04T19:25:00Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/materialize_to_datario/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-08-04T19:25:39Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T19:30:56Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/init.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @Hellcassius
- @fernandascovino

github-actions · 2022-08-04T19:31:52Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T20:11:29Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

github-actions · 2022-08-04T20:11:37Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T20:38:50Z

===> 1 convention(s) found:

convention [C0411] standard import "import traceback" should be placed before "from pytz import timezone" (pipelines/rj_smtr/tasks.py:14:0)

github-actions · 2022-08-04T20:39:15Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_smtr/br_rj_riodejaneiro_sigmob/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_onibus_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_brt_gps/flows.py
- pipelines/rj_smtr/br_rj_riodejaneiro_stpl_gps/flows.py
- pipelines/rj_smtr/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @fernandascovino
- @Hellcassius

mergify · 2022-08-05T13:37:58Z

@fernandascovino esse pull request tem conflitos 😩

fernandascovino · 2022-08-15T14:40:05Z

closed by #141

fernandascovino changed the title ~~[WIP][smtr] fix: corrrigir código de recaptura~~ [WIP][smtr] fix: corrigir código de recaptura Jul 28, 2022

fernandascovino mentioned this pull request Jul 31, 2022

[smtr][gps] revisão completa da pipeline #141

Merged

5 tasks

Merge branch 'master' into fix/issue126

f0228f9

Merge branch 'master' into fix/issue126

ec64a90

Merge branch 'master' into fix/issue126

40a745c

Merge branch 'master' into fix/issue126

afc8a87

gabriel-milan changed the base branch from master to staging August 4, 2022 18:50

Merge branch 'staging' into fix/issue126

f2f1a9b

Merge branch 'staging' into fix/issue126

8dbe300

Merge branch 'staging' into fix/issue126

06d4f9b

Merge branch 'staging' into fix/issue126

ad45ad3

Merge branch 'staging' into fix/issue126

66e70ce

Merge branch 'staging' into fix/issue126

6b9263a

mergify bot added the conflict label Aug 5, 2022

Base automatically changed from staging to master August 10, 2022 19:31

fernandascovino closed this Aug 15, 2022

[WIP][smtr] fix: corrigir código de recaptura #128

[WIP][smtr] fix: corrigir código de recaptura #128

Conversation

fernandascovino commented Jul 28, 2022 • edited

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 28, 2022

github-actions bot commented Jul 28, 2022

Análise da árvore de código

github-actions bot commented Jul 29, 2022

github-actions bot commented Jul 29, 2022

Análise da árvore de código

fernandascovino commented Jul 29, 2022

github-actions bot commented Aug 2, 2022

Análise da árvore de código

github-actions bot commented Aug 2, 2022

github-actions bot commented Aug 2, 2022

Análise da árvore de código

github-actions bot commented Aug 2, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

github-actions bot commented Aug 4, 2022

Análise da árvore de código

mergify bot commented Aug 5, 2022

fernandascovino commented Aug 15, 2022

fernandascovino commented Jul 28, 2022 •

edited