Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Adiciona spiders para Abaré, Adustina, Almadina, Anagé e Andorinha #1135

Closed
wants to merge 11 commits into from

Conversation

cassiasamp
Copy link
Contributor

@cassiasamp cassiasamp commented Apr 26, 2024

Layout do site publicador de diários oficiais

Marque apenas um dos itens a seguir:

  • O layout não se parece com nenhum caso da lista de layouts padrão
  • É um layout padrão e esta PR adiciona a spider base do padrão ao projeto junto com alguns municípios que fazem parte do padrão.
  • É um layout padrão e todos os municípios adicionados usam a classe de spider base adequada para o padrão.

Código da(s) spider(s)

  • O(s) raspador(es) adicionado(s) tem os atributos de classe exigidos.
  • O(s) raspador(es) adicionado(s) cria(m) objetos do tipo Gazette coletando todos os metadados necessários.
  • O atributo de classe start_date foi preenchido com a data da edição de diário oficial mais antiga disponível no site.
  • Explicitar o atributo de classe end_date não se fez necessário.
  • Não utilizo custom_settings em meu raspador.

Testes

  • Uma coleta-teste da última edição foi feita. O arquivo de .log deste teste está anexado na PR.
  • Uma coleta-teste por intervalo arbitrário foi feita. Os arquivos de .loge .csv deste teste estão anexados na PR.
  • Uma coleta-teste completa foi feita. Os arquivos de .log e .csv deste teste estão anexados na PR.

Verificações

  • Eu experimentei abrir alguns arquivos de diários oficiais coletados pelo meu raspador e verifiquei eles conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos .csv gerados pela minha coleta conforme a documentação não encontrando problemas.
  • Eu verifiquei os arquivos de .log gerados pela minha coleta conforme a documentação não encontrando problemas.

Os logs de Andorinha, Almadina, Andustina e Abaré tem a contagem de 1 erro.

Descrição

Segundo PR com os primeiros 5 municípios da issue #1115. O primeiro PR foi #1134.

Arquivos de csv e log gerados:
ba_adustina.csv
log_ba_adustina.txt
ba_adustina_jan_dec_2023.csv
log_ba_adustina_jan_dec_2023.log
ba_andorinha.csv
log_ba_andorinha.txt
log_ba_andorinha_jan_dec_2023.txt
ba_andorinha_jan_dec_2023.csv
log_ba_anage_jan_dec_2023.txt
ba_anage.csv
log_ba_anage.txt
ba_anage_jan_dec_2023.csv
log_ba_adustina_jan_dec_2023.txt
log_ba_almadina.txt
ba_almadina.csv
log_ba_almadina_jan_dec_2023.txt
ba_almadina_jan_dec_2023.csv
ba_abare.csv
log_ba_abare.txt
log_ba_abare_jan_dec_2023.txt
ba_abare_jan_dec_2023.csv

cassiasamp and others added 11 commits April 25, 2024 01:19
Tive este erro ao instalar os requirements de dev:

ERROR: In --require-hashes mode, all requirements must have their versions pinned with ==. These do not:
    importlib-metadata>=4.6 from https://files.pythonhosted.org/packages/2d/0a/679461c511447ffaf176567d5c496d1de27cbe34a87df6677d7171b2fbd4/importlib_metadata-7.1.0-py3-none-any.whl (from build==1.0.3->-r data_collection/requirements-dev.txt (line 48))

e precisei instalar importlib e build.

Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com>
Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com>
Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com>
Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com>
Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com>
Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com>
Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com>
Co-authored-by: Juliana Trevine <44185775+trevineju@users.noreply.github.com>
Signed-off-by: Cássia Sampaio <4005687+cassiasamp@users.noreply.github.com>
@cassiasamp
Copy link
Contributor Author

cassiasamp commented Apr 26, 2024

mandei os arquivos antigos sem querer! mandando outro PR, o #1137.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

Successfully merging this pull request may close these issues.

1 participant