Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Novas planilhas donor e donatedPack #82

Open
ppKrauss opened this issue Apr 27, 2022 · 3 comments
Open

Novas planilhas donor e donatedPack #82

ppKrauss opened this issue Apr 27, 2022 · 3 comments
Assignees
Labels
bug Something isn't working dados-manutencao Correção e similares documentation Improvements or additions to documentation enhancement New feature or request

Comments

@ppKrauss
Copy link
Contributor

As planilhas donor.csv e donatedPack.csv são essenciais e controlam todos os identificadores do sistema, sendo também pré-requisto para a entrada de novos dados. É importante que seus dados sejam o mais simples e objetivos possível para que humanos possam controlar seus dados.

No workflow de atualização dessas planilhas, outro recurso para tornar a atualização mais amigável e atrativa à colaboração, foi adotado o uso da planilha colaborativa Google-docs, ao invés da interface pobre do Github, ou o trabalho de baixar e abrir num software externo como LibreOffice. O passo-a-passo da gestão das atualizações é o seguinte:

  1. Os responsáveis (atualmente Carlos e Luis) atualizam a aba "Donor" da planilha coleaborativa.
  2. O responsável por manter o git sincronizado com a planilha colaborativa (atualmente Luis) baixa com "salvar como CSV", substituindo no pacote git o arquivo donor.csv e então confere o resultado com o comando git diff donor.csv.
    Se detectar diferenças não-previstas, corrige a planilha colaborativa ou, em caso de novos dados ou nova estrutura de dados, confere com o restante da equipe o que fazer. Novas linhas de donor podem estar incompletas apenas no caso de sua coluna "status" não estar em "active" (por exemplo "inactive" ou "prospecting").
  3. (se tudo ok) faz git add; git commit -m "new donors"; git push .
  4. Os responsáveis (atualmente Carlos e Luis) atualizam a aba "DonatedPack" da planilha colaborativa.
  5. O responsável por manter o git sincronizado com a planilha colaborativa baixa com "salvar como CSV", substituindo no pacote git o arquivo donatedPack.csv e então confere o resultado com o comando git diff donatedPack.csv.
    Se detectar diferenças não-previstas, corrige a planilha colaborativa ou, em caso de novos dados ou nova estrutura de dados, confere com o restante da equipe o que fazer.
  6. (se tudo ok) faz git add; git commit -m "new packs"; git push .
  7. O responsável por manter o git sincronizado avisa por e-mail a equipe de suporte da bases de dados no servidor (atualmente Carlos, Claiton e Peter) que temos atualização das planilhas.
    (atualmente o procedimento é um make target mas no futuro poderá ser automatizado por Observer do git).

O workflow só vai funcionar se as estruturas das planilhas (cabeçalho das colunas) colaborativa e CSV forem exatamente as mesmas e a planilha colaborativa for inicialmente preparada com o conteúdo do CSV oficial. Importante notar que, na dúvida, a informação confiável é a contida no CSV.


Empreitada conjunta

A divisão de tarefas ainda não está clara, mas seriam as seguintes:

  • documentar o workflow, nem que seja copiando/colando partes do texto dessa issue no /docs geral do Preserv.
  • Resolver problemas menores de estrutura nas planilhas: ver são abaixo sobre correção do software.
  • Atualizar a planilha git com a nova estrutura, usando ou cuidadosamente a edição manual ou gerando por COPY no postgreSQL.
  • Atualizar a planilha colaborativa com os dados do git
  • Iniciar mais formalmente o workflow descrito acima, como conjunto de tarefas de rotina da AddressForAll.

Correção da planilha

Foram incluídas as colnas `status" em ambas, e a forma de registro das licenças mudou, demandando agora garantia de JOIN com projeto Licences e registro dos rótulos de licença implícita, bem como distinção entre família de licença e licença.

Correção de software

  • eliminar a coluna scope_osm_id que pode ser deduzida por Jurisdiction através de scope_label (deixa de ser cache).
  • no banco de dados a tabela donatedPack passa a vincular Jurisdiction, e pode validar o agregado com donor. Ver preserv/issues/109.
  • reestruturação das licenças com ajuda Luis
@ppKrauss ppKrauss added bug Something isn't working documentation Improvements or additions to documentation enhancement New feature or request dados-manutencao Correção e similares labels Apr 27, 2022
@luisfelipebr
Copy link
Collaborator

@ppKrauss a maioria dos campos das planilhas donor e donatedPack podem ser preenchidos automaticamente, sem intervenção do analista. O preenchimento automático também evitaria erros humanos. Uma forma de abordar o preenchimento automático, ao mesmo tempo que incluindo um manual para preenchimento dos campos manuais, é utilizando um questionário.

Adicionei outros comentários e dúvidas neste documento. Sugiro agendarmos uma conversa para discutir os próximos passos.

@luisfelipebr
Copy link
Collaborator

Sugestão do @ppKrauss: utilizar received_date no lugar de accepted_date

"a data de aceitação tem vies, a data de doação é a de Received... Mas seria essa data dentro do conjunto dos accepteds (ou publicados)".

@0e1
Copy link
Collaborator

0e1 commented Oct 26, 2023

Atualmente, o responsável por manter planilha coloborativa é o @IgorEliezer.
Construir forma automatizada de atualizar donor.csv com planilha mantida por ele. Ou, periodicamente, fazer atualizações manuais enquanto não for possível faze-lo automaticamente via target.

Relacionada: #167

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
bug Something isn't working dados-manutencao Correção e similares documentation Improvements or additions to documentation enhancement New feature or request
Projects
None yet
Development

No branches or pull requests

3 participants