Inserir propriedade hash manualmente para arquivos que não devem sofrer alteração

[fjuniorr]

Em um dado momento do tempo pode acontecer que os arquivos primários de determinado conjunto não devem mais ser atualizados.

Isso é inclusive um requisito legal da Lei de Acesso a Informação (LAI) que obriga a garantia da integridade¹ das informações disponíveis para acesso.

Nesses casos podemos informar manualmente a propriedade hash em cada recurso e o frictionless validate datapackage.yaml vai identificar se houve alguma modificação acidental:. Por exemplo:

─────────────────────────────────────────────────────────────── Tables ────────────────────────────────────────────────────────────────
                                                          acoes_planejamento                                                           
┏━━━━━━┳━━━━━━━┳━━━━━━━━━━━━┳━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┓
┃ Row  ┃ Field ┃ Type       ┃ Message                                                                                                 ┃
┡━━━━━━╇━━━━━━━╇━━━━━━━━━━━━╇━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━┩
│ None │ None  │ hash-count │ The data source does not match the expected hash count: expected is                                     │
│      │       │            │ "d5aa5075fb2dc53d9c58bc4afa2fdf85d0af900c97be88abdc05a12cc89b8bb2" and actual is                        │
│      │       │            │ "c5aa5075fb2dc53d9c58bc4afa2fdf85d0af900c97be88abdc05a12cc89b8bb2"                                      │
└──────┴───────┴────────────┴─────────────────────────────────────────────────────────────────────────────────────────────────────────┘

Uma questão em aberto é que o cálculo da hash do frictionless-py ainda é diferente entre windows e unix.

A discussão do issue transparencia-mg/remuneracao#34 também é relevante para ilustrar a necessidade de garantir a linhagem dos dados.

Footnotes

1. definida como qualidade da informação não modificada, inclusive quanto à origem, trânsito e destino ↩

[fjuniorr]

Exemplo em splor-mg/dados-sigplan-planejamento-2023@219c5db

[fjuniorr]

Talvez o hashdeep que vamos utilizar no dpm para implementar o data.lock seja uma alternativa melhor.

Vamos investigar em splor-mg/atividades#70 o suporte cross-plataforma.

[labanca]

Encontrei a última versão compilada para Windows md5deep-4.4.zip. A versão do repositório oficial funciona somente em sistemas Unix.