adicionando raspadores para abare, adustina, almadina, anage e andorinha

[cassiasamp]

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

• O layout não se parece com nenhum caso da lista de layouts padrão
• É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
• É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

• O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
• O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
• O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
• Explicitar o atributo de classe end_date não se fez necessário.
• Não utilizo custom_settings em meu raspador.

Testes

• Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
• Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
• Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

• Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
• Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

No entanto, eu encontrei problemas nos arquivos de log e apenas os raspadores de Abaré e Almadina foram preenchidos com as páginas do diário.
Há erros nos logs de Adustina, Anagé e Andorinha, mas não sei como interpretá-los para corrigir o problema, se foi algum typo que está passando batido ou alguma outra configuração faltante.

Descrição

PR com os primeiros 5 municípios da issue #1115 - lembrando que apenas os raspadores de Abaré e Almadina coletaram dados.

Arquivos de csv e log gerados:
ba_andorinha.csv
ba_andorinha_jan_dec_2023.csv
log_ba_andorinha_jan_dec_2023.txt
log_ba_andorinha.txt
ba_anage_jan_dec_2023.csv
log_ba_anage_jan_dec_2023.txt
ba_anage.csv
log_ba_anage.txt
ba_adustina_jan_dec_2023.csv
log_ba_adustina_jan_dec_2023.txt
log_ba_adustina.txt
ba_adustina.csv
log_ba_almadina.txt
ba_almadina.csv
log_ba_almadina_jan_dec_2023.txt
ba_almadina_jan_dec_2023.csv
ba_abare.csv
log_ba_abare.txt
log_ba_abare_jan_dec_2023.txt
ba_abare_jan_dec_2023.csv

[trevineju]

@cassiasamp, isso! caminhou bem!
Só deu errado a execução pq as URLs que devem ser usadas são as mesmas que estão naquela lista, só copiar.

Faz essas modificações que apontei aqui e tenta a coleta de novo

[cassiasamp]

@trevineju testei aqui e parece que não eram as urls.
No arquivo de Anage, eu tinha digitado "2017" ao inves de "2007", no arquivo de Andorinha faltou um "n" na url de dominio e no arquivo de Adustina a data de início estava "27" ao invés de "3". Eu já ajustei e rodei aqui. Agora tudo certo finalmente.

vou fechar esse PR e mandar um novo, tudo bem? aí aproveito e separo do arquivo de request que tinha ido junto sem querer.

[cassiasamp]

Fechando este para mandar um novo com tudo certinho!