Coleta obras do município

[RaulBSantos]

Resolve a issue #118

Spider

• Obter url dos detalhes de Obra
• Listar os dados de obra anterior aos detalhes (do resultado da busca)
• Listar os detalhes de uma obra
• Rodar um ciclo completo do spider, seguindo os links de detalhes e dos anos
• Obter dados de pagamento
• Obter dados do aditivo

Geral

• Escrever o spider
• Criar um item
• Criar um validator
• Criar um model
• Criar método pra salvar no model (com a lógica de atualização)
• Adicionar spider ao crawl
• Adicionar checagem no item e chamar método para salvar no model
• Adicionar deleção na opção de deletar todos

[matheusrocha89]

@anapaulagomes @RaulBSantos Eu sei que no python a estrutura de arquivos e classes é bem livre e você pode ter várias classes em um só arquivo. Quando trabalhava com python tivemos um problema chato depois para testes e reestruturar o código e resolver dependências cíclicas por conta desse approach. Acho que seria bom colocar sempre isso em mente, principalmente quando o arquivo começa a ficar muito grande.

[anapaulagomes]

Bem lembrado, @matheusrocha89. Nesse caso em específico, onde vamos coletar não apenas dados da prefeitura mas de outros órgãos da cidade também, talvez valha a pena colocar em um módulo separado para o tribunal de contas do município (caso ainda não tenha).

[RaulBSantos]

Boa @matheusrocha89 ! Legal @anapaulagomes! Vou criar esse novo do tcm separado já então. Aí se acharem legal outras separações de responsabilidade para as classes já existentes, abrimos uma nova issue.

[anapaulagomes]

Atenção: a branch principal foi atualizada para main.

[anapaulagomes]

Fechando esse PR para abrir no outro repositório dedicado ao TCM-BA.