Spec etapa de extração de dados

[fjuniorr]

Nota publicada disponível em https://splor-mg.github.io/notas/spreadmart-dpm/20230425T104833/.

Os seguintes itens que ainda precisam ser abordados para finalização da etapa de extração (E):

• instalação de data packages que necessitam de autenticação
• adicionar material de referência
• reuso de ferramentas existentes (eg. frictionless-py, dvc, data-diff, etc)
• output e flags do comando dpm diff (eg. Tabular Diff Format)
• instalação de data packages com dados armazenados em bancos de dados
• comando dpm checkout para permitir o acesso a múltiplas versões
• comando dpm diff <package.name> <versionA> <versionB>
• nome do programa (ie. dpm)

Links

• Data as Code Deja-Vu - Open Knowledge Labs
• Introducing Datapkg: A Tool for Distributing, Discovering and Installing Data “Packages” – Open Knowledge Foundation blog
• jbenet's blog
• [[20220430T145853]] frictionless - authentication mechanisms

[fjuniorr]

WONTFIX

Especificações devem ser feitas diretamente nos issues do https://github.com/splor-mg/dpm, como por exemplo:

• Implementar dpm load dpm#43
• Implementar dpm docs para geração de dicionário de dados do data package dpm#55
• Implementa dpm diff para table schema fields dpm#40