[FEATURE] Adiciona pipeline para gerar matriz de políticas de acesso #306

gabriel-milan · 2022-12-15T14:57:01Z

Código para testar as tasks

from pipelines.utils.policy_matrix.tasks import *

project_ids = ["rj-escritorio-dev"]

discovery_api = get_discovery_api.run(mode="prod")
policies = []
for project_id in project_ids:
    policies.append(get_iam_policy.run(project_id=project_id, discovery_api=discovery_api))
policies = merge_iam_policies.run(project_ids=project_ids, policies=policies)
roles_matrix = generate_roles_matrix.run(policies=policies)
dataframe = roles_matrix_to_pandas_dataframe.run(roles_matrix=roles_matrix)

d116626 · 2022-12-23T17:53:42Z

testei aqui

project_ids = ["rj-escritorio-dev",'rj-escritorio']

discovery_api = get_discovery_api.run(mode="prod")
policies = [
    get_iam_policy.run(project_id=project_id, discovery_api=discovery_api)
    for project_id in project_ids
]
policies = merge_iam_policies.run(project_ids=project_ids, policies=policies)
roles_matrix = generate_roles_matrix.run(policies=policies)
dataframe = roles_matrix_to_pandas_dataframe.run(roles_matrix=roles_matrix)

dataframe = dataframe.T
dataframe.reset_index(inplace=True)

dataframe.insert(0,'type',dataframe['index'].apply(lambda x: x.split(':')[0]))
dataframe.insert(0,'email',dataframe['index'].apply(lambda x: x.split(':')[1]))

dataframe.drop(columns=['index'],inplace=True)

d116626 · 2023-01-23T17:23:38Z

converter pra long

github-actions · 2023-01-27T17:28:57Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/tasks.py
- pipelines/utils/policy_matrix/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-27T18:03:00Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/init.py
- pipelines/utils/policy_matrix/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

for more information, see https://pre-commit.ci

…o/pipelines into feat/policy-matrix

github-actions · 2023-01-30T17:44:50Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/init.py
- pipelines/utils/policy_matrix/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-30T17:44:53Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_segovi/init.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/utils/policy_matrix/tasks.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @gabriel-milan
- @d116626

github-actions · 2023-01-30T17:45:52Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_segovi/init.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/utils/policy_matrix/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @gabriel-milan
- @d116626

github-actions · 2023-01-30T17:50:05Z

===> 1 error(s) found:

error [E0001] Parsing failed: 'unexpected EOF while parsing (, line 40)' (pipelines/utils/policy_matrix/flows.py:40:1)

for more information, see https://pre-commit.ci

github-actions · 2023-01-30T18:50:26Z

===> 3 error(s) found:

error [E1101] Instance of 'Resource' has no 'set_upstream' member (pipelines/utils/policy_matrix/flows.py:48:4)
error [E1101] Instance of 'dict' has no 'set_upstream' member (pipelines/utils/policy_matrix/flows.py:62:4)
error [E1120] No value for argument 'roles_matrix' in function call (pipelines/utils/policy_matrix/flows.py:64:21)

github-actions · 2023-01-30T18:51:50Z

===> 3 error(s) found:

error [E1101] Instance of 'Resource' has no 'set_upstream' member (pipelines/utils/policy_matrix/flows.py:48:4)
error [E1101] Instance of 'dict' has no 'set_upstream' member (pipelines/utils/policy_matrix/flows.py:62:4)
error [E1120] No value for argument 'roles_matrix' in function call (pipelines/utils/policy_matrix/flows.py:64:21)

github-actions · 2023-01-30T18:56:31Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/rj_segovi/init.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_escritorio/init.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_segovi/dump_db_1746/schedules.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @gabriel-milan
- @d116626

github-actions · 2023-01-30T19:02:48Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_segovi/init.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_escritorio/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @gabriel-milan
- @d116626

github-actions · 2023-01-30T19:10:58Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_segovi/init.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_escritorio/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

for more information, see https://pre-commit.ci

github-actions · 2023-01-30T19:17:38Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_segovi/init.py
- pipelines/rj_escritorio/init.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/utils/policy_matrix/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-30T19:18:11Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_escritorio/init.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_segovi/init.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/utils/policy_matrix/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

…o/pipelines into feat/policy-matrix

github-actions · 2023-01-30T19:28:24Z

===> 1 convention(s) found:

convention [C0103] Constant name "project_ids" doesn't conform to UPPER_CASE naming style (pipelines/rj_escritorio/dump_policy_matrix/schedules.py:52:0)

github-actions · 2023-01-30T19:28:46Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/tasks.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_segovi/init.py
- pipelines/rj_escritorio/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @gabriel-milan
- @d116626

github-actions · 2023-01-31T14:17:15Z

===> 1 convention(s) found:

convention [C0103] Constant name "project_ids" doesn't conform to UPPER_CASE naming style (pipelines/rj_escritorio/dump_policy_matrix/schedules.py:52:0)

github-actions · 2023-01-31T14:17:21Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_segovi/init.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_escritorio/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-31T14:25:33Z

===> 1 convention(s) found:

convention [C0103] Constant name "project_ids" doesn't conform to UPPER_CASE naming style (pipelines/rj_escritorio/dump_policy_matrix/schedules.py:52:0)

github-actions · 2023-01-31T14:25:42Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_escritorio/init.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/utils/policy_matrix/init.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/rj_segovi/init.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-31T14:37:09Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_segovi/init.py
- pipelines/rj_escritorio/init.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/utils/policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_segovi/dump_db_1746/flows.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-31T14:37:25Z

===> 1 convention(s) found:

convention [C0103] Constant name "project_ids" doesn't conform to UPPER_CASE naming style (pipelines/rj_escritorio/dump_policy_matrix/schedules.py:52:0)

github-actions · 2023-01-31T14:42:14Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_segovi/init.py
- pipelines/rj_escritorio/init.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/utils/policy_matrix/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @d116626
- @gabriel-milan

github-actions · 2023-01-31T16:47:08Z

Análise da árvore de código

Os seguintes arquivos são afetados diretamente por alterações realizadas nesse pull request:
- pipelines/rj_segovi/init.py
- pipelines/utils/policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/flows.py
- pipelines/rj_escritorio/dump_policy_matrix/init.py
- pipelines/rj_escritorio/dump_policy_matrix/schedules.py
- pipelines/rj_escritorio/init.py
- pipelines/rj_segovi/dump_db_1746/schedules.py
- pipelines/utils/policy_matrix/tasks.py
- pipelines/rj_segovi/dump_db_1746/flows.py
- pipelines/utils/policy_matrix/init.py

Os seguintes usuários devem ser avisados sobre a alteração:
- @gabriel-milan
- @d116626

d116626

lgtm

gabriel-milan added 2 commits December 15, 2022 11:53

feat: add initial tasks for roles matrix

9d9291f

chore: fix linting issues

3305ae8

gabriel-milan requested a review from d116626 December 15, 2022 14:57

gabriel-milan added the do-not-update label Dec 15, 2022

feat: make it tall

a409564

feat: parse member into email and type

14f0a9e

gabriel-milan removed the do-not-update label Jan 30, 2023

gabriel-milan and others added 4 commits January 30, 2023 14:41

Merge branch 'master' into feat/policy-matrix

f64efcb

[pre-commit.ci] auto fixes from pre-commit.com hooks

9c8bb43

for more information, see https://pre-commit.ci

chore: fix linting issues

70d24e0

Merge branch 'feat/policy-matrix' of https://github.com/prefeitura-ri…

b07abdf

…o/pipelines into feat/policy-matrix

chore: initial commit for flow definition

239a5a2

feat: add flow for policy matrix

9e8b26f

d116626 added the staging label Jan 30, 2023

[pre-commit.ci] auto fixes from pre-commit.com hooks

7d6c3a9

for more information, see https://pre-commit.ci

fix: pylint

c1db62d

deps: fix lockfile

f767ef1

fix: output type in get_iam_policy

f98d057

d116626 and others added 2 commits January 30, 2023 16:14

fix: output type in get_iam_policy

a946806

[pre-commit.ci] auto fixes from pre-commit.com hooks

9acf9f6

for more information, see https://pre-commit.ci

d116626 added 2 commits January 30, 2023 16:25

fix: output type in get_iam_policy

c8373bd

Merge branch 'feat/policy-matrix' of https://github.com/prefeitura-ri…

8a2114c

…o/pipelines into feat/policy-matrix

feat: add mode parameter

f5a016a

chore: remove set_upstream parameter

bb6650a

chore: remove set_upstream parameter

30a5e3c

fix: pylint

8c16e42

fix: no checkpoint for unserializable objects

ccdb383

d116626 approved these changes Jan 31, 2023

View reviewed changes

d116626 merged commit 7f23714 into master Jan 31, 2023

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

[FEATURE] Adiciona pipeline para gerar matriz de políticas de acesso #306

[FEATURE] Adiciona pipeline para gerar matriz de políticas de acesso #306

gabriel-milan commented Dec 15, 2022

d116626 commented Dec 23, 2022 •

edited

d116626 commented Jan 23, 2023

github-actions bot commented Jan 27, 2023

github-actions bot commented Jan 27, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

d116626 left a comment

[FEATURE] Adiciona pipeline para gerar matriz de políticas de acesso #306

[FEATURE] Adiciona pipeline para gerar matriz de políticas de acesso #306

Conversation

gabriel-milan commented Dec 15, 2022

Código para testar as tasks

d116626 commented Dec 23, 2022 • edited

d116626 commented Jan 23, 2023

github-actions bot commented Jan 27, 2023

Análise da árvore de código

github-actions bot commented Jan 27, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 30, 2023

github-actions bot commented Jan 30, 2023

Análise da árvore de código

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

Análise da árvore de código

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

Análise da árvore de código

github-actions bot commented Jan 31, 2023

Análise da árvore de código

github-actions bot commented Jan 31, 2023

github-actions bot commented Jan 31, 2023

Análise da árvore de código

github-actions bot commented Jan 31, 2023

Análise da árvore de código

d116626 left a comment

Choose a reason for hiding this comment

d116626 commented Dec 23, 2022 •

edited