Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

[Mapeamento] Lista de municípios que usam SAIIO #1115

Open
trevineju opened this issue Mar 17, 2024 · 9 comments
Open

[Mapeamento] Lista de municípios que usam SAIIO #1115

trevineju opened this issue Mar 17, 2024 · 9 comments
Labels
dificuldade:baixa Pouco desafiador de desenvolver epic Grande tarefa. Geralmente, uma tarefa épica se desdobra em outras tarefas good first issue Sugestão de tarefa para quem contribui pela primeira vez neste repositório

Comments

@trevineju
Copy link
Member

trevineju commented Mar 17, 2024

Sobre essa tarefa

  1. Ela só pode ser trabalhada após o raspador base para o padrão estar integrado ao projeto. Ou seja, a issue [Novo spider base]: SAI #907 estar completa.
  2. Apesar de aqui listadas, as URLs descontinuadas não serão integradas por enquanto, apenas as vigentes.
  3. Todos os sites a seguir devem parecer visualmente similares, porém é comum que municípios migrem a qualquer momento. Comente na issue se você se deparar com casos cujo layout do site tenha mudado.
  4. Dica: Como todos estes municípios seguem o mesmo padrão, o código de seus raspadores também seguirão, tendo apenas algumas diferenças como nome, data, URL. Um script que cria arquivos de código a partir da lista abaixo, mudando apenas alguns campos, pode ajudar.
  5. Não é exigido contribuir com todas estas cidades de uma vez, ela pode ser concluída por partes.
  6. Para mais informações, consulte a documentação sobre sistemas replicáveis.

Mapeado em fevereiro de 2024

URL vigente

Tem diários atuais

Código integrado ao repositório Município-UF URL Milestone
  • Abaré - BA https://sai.io.org.br/ba/abare/Site/DiarioOficial
  • Adustina - BA https://www.adustina.ba.gov.br/site/diariooficial
  • Almadina - BA https://www.almadina.ba.gov.br/site/diariooficial
  • Anagé - BA https://www.anage.ba.gov.br/site/diariooficial
  • Andorinha - BA https://www.andorinha.ba.gov.br/site/diariooficial
  • Antas - BA https://www.antas.ba.gov.br/site/diariooficial
  • Apuarema - BA https://www.apuarema.ba.gov.br/site/diariooficial
  • Araças - BA https://www.aracas.ba.gov.br/site/diariooficial
  • Aramari - BA https://www.aramari.ba.gov.br/site/diariooficial
  • Arataca - BA https://www.arataca.ba.gov.br/site/diariooficial
  • Aratuípe - BA https://www.aratuipe.ba.gov.br/site/diariooficial
  • Aurelino Leal - BA https://www.aurelinoleal.ba.gov.br/site/diariooficial
  • Baianópolis - BA https://sai.io.org.br/ba/baianopolis/Site/DiarioOficial
  • Baixa Grande - BA https://www.baixagrande.ba.gov.br/site/diariooficial
  • Barra do Choça - BA https://sai.io.org.br/ba/barradochoca/Site/DiarioOficial
  • Barra do Rocha - BA https://www.barradorocha.ba.gov.br/site/diariooficial
  • Barro Alto - BA https://sai.io.org.br/ba/barroalto/Site/DiarioOficial
  • Barro Preto - BA https://www.barropreto.ba.gov.br/site/diariooficial
  • Belmonte - BA https://sai.io.org.br/ba/belmonte/Site/DiarioOficial
  • Belo Campo - BA https://www.belocampo.ba.gov.br/site/diariooficial
  • Boa Nova - BA https://www.boanova.ba.gov.br/site/diariooficial
  • Bom Jesus da Lapa - BA https://sai.io.org.br/ba/bomjesusdalapa/Site/DiarioOficial
  • Boninal - BA https://www.boninal.ba.gov.br/site/diariooficial
  • Bonito - BA https://sai.io.org.br/ba/bonito/Site/DiarioOficial
  • Boquira - BA https://www.boquira.ba.gov.br/site/diariooficial
  • Brejões - BA https://www.brejoes.ba.gov.br/site/diariooficial
  • Brumado - BA https://sai.io.org.br/ba/brumado/Site/DiarioOficial
  • Cachoeira - BA https://www.cachoeira.ba.gov.br/site/diariooficial
  • Caetanos - BA https://www.caetanos.ba.gov.br/site/diariooficial
  • Cairu - BA https://www.cairu.ba.gov.br/site/diariooficial
  • Camacan - BA https://sai.io.org.br/ba/camacan/Site/DiarioOficial
  • Camamu - BA https://www.camamu.ba.gov.br/site/diariooficial
  • Canavieiras - BA https://www.canavieiras.ba.gov.br/site/diariooficial
  • Candeias - BA https://sai.io.org.br/ba/candeias/Site/DiarioOficial
  • Caraíbas - BA https://www.caraibas.ba.gov.br/site/diariooficial
  • Caravelas - BA https://sai.io.org.br/ba/caravelas/Site/DiarioOficial
  • Castro Alves - BA https://sai.io.org.br/ba/castroalves/Site/DiarioOficial
  • Catu - BA https://sai.io.org.br/ba/catu/Site/DiarioOficial
  • Chorrochó - BA https://sai.io.org.br/ba/chorrocho/Site/DiarioOficial
  • Conceição do Jacuípe - BA https://www.conceicaodojacuipe.ba.gov.br/site/diariooficial
  • Conde - BA https://www.conde.ba.gov.br/site/diariooficial
  • Condeúba - BA https://www.condeuba.ba.gov.br/site/diariooficial
  • Coribe - BA https://www.coribe.ba.gov.br/site/diariooficial
  • Coronel João Sá - BA https://sai.io.org.br/ba/coroneljoaosa/Site/DiarioOficial
  • Correntina - BA https://sai.io.org.br/ba/correntina/Site/DiarioOficial
  • Cravolândia - BA https://www.cravolandia.ba.gov.br/site/diariooficial
  • Dário Meira - BA https://www.dariomeira.ba.gov.br/site/diariooficial
  • Dias d'Ávila - BA https://sai.io.org.br/ba/diasdavila/Site/DiarioOficial
  • Dom Basílio - BA https://www.dombasilio.ba.gov.br/site/diariooficial
  • Dom Macedo Costa - BA https://www.dommacedocosta.ba.gov.br/site/diariooficial
  • Elísio Medrado - BA https://www.elisiomedrado.ba.gov.br/site/diariooficial
  • Estância - SE https://www.estancia.se.gov.br/site/diariooficial
  • Eunápolis - BA https://www.eunapolis.ba.gov.br/site/diariooficial
  • Fátima - BA https://www.fatima.ba.gov.br/site/diariooficial
  • Firmino Alves - BA https://www.firminoalves.ba.gov.br/site/diariooficial
  • Floresta Azul - BA https://www.florestaazul.ba.gov.br/site/diariooficial
  • Gandu - BA https://sai.io.org.br/ba/gandu/Site/DiarioOficial
  • Glória - BA https://sai.io.org.br/ba/gloria/Site/DiarioOficial
  • Gongogi - BA https://www.gongogi.ba.gov.br/site/diariooficial
  • Guaratinga - BA https://www.guaratinga.ba.gov.br/site/diariooficial
  • Heliópolis - BA https://www.heliopolis.ba.gov.br/site/diariooficial
  • Iaçu - BA https://www.iacu.ba.gov.br/site/diariooficial
  • Ibicaraí - BA https://www.ibicarai.ba.gov.br/site/diariooficial
  • Ibicoara - BA https://www.ibicoara.ba.gov.br/site/diariooficial
  • Ibicuí - BA https://www.ibicui.ba.gov.br/site/diariooficial
  • Ibipitanga - BA https://www.ibipitanga.ba.gov.br/site/diariooficial
  • Ibirapitanga - BA https://www.ibirapitanga.ba.gov.br/site/diariooficial
  • Ibirapuã - BA https://www.ibirapua.ba.gov.br/site/diariooficial
  • Ibitiara - BA https://sai.io.org.br/ba/ibitiara/Site/DiarioOficial
  • Ibotirama - BA https://www.ibotirama.ba.gov.br/site/diariooficial
  • Ichu - BA https://www.ichu.ba.gov.br/site/diariooficial
  • Igaci - AL https://www.igaci.al.gov.br/site/diariooficial
  • Iguaí - BA https://www.iguai.ba.gov.br/site/diariooficial
  • Irajuba - BA https://www.irajuba.ba.gov.br/site/diariooficial
  • Iramaia - BA https://www.iramaia.ba.gov.br/site/diariooficial
  • Itabela - BA https://www.itabela.ba.gov.br/site/diariooficial
  • Itacaré - BA https://sai.io.org.br/ba/itacare/Site/DiarioOficial
  • Itagibá - BA https://www.itagiba.ba.gov.br/site/diariooficial
  • Itagimirim - BA https://sai.io.org.br/ba/itagimirim/Site/DiarioOficial
  • Itaju do Colônia - BA https://www.itajudocolonia.ba.gov.br/site/diariooficial
  • Itajuípe - BA https://www.itajuipe.ba.gov.br/site/diariooficial
  • Itapé - BA https://www.itape.ba.gov.br/site/diariooficial
  • Itapebi - BA https://www.itapebi.ba.gov.br/site/diariooficial
  • Itapitanga - BA https://sai.io.org.br/ba/itapitanga/Site/DiarioOficial
  • Itarantim - BA https://sai.io.org.br/ba/itarantim/Site/DiarioOficial
  • Itatim - BA https://www.itatim.ba.gov.br/site/diariooficial
  • Itiruçu - BA https://www.itirucu.ba.gov.br/site/diariooficial
  • Itororó - BA https://www.itororo.ba.gov.br/site/diariooficial
  • Ituberá - BA https://www.itubera.ba.gov.br/site/diariooficial
  • Jaborandi - BA https://sai.io.org.br/ba/jaborandi/Site/DiarioOficial
  • Jaguaripe - BA https://www.jaguaripe.ba.gov.br/site/diariooficial
  • Jeremoabo - BA https://www.jeremoabo.ba.gov.br/site/diariooficial
  • Jitaúna - BA https://www.jitauna.ba.gov.br/site/diariooficial
  • Jucuruçu - BA https://www.jucurucu.ba.gov.br/site/diariooficial
  • Jussari - BA https://www.jussari.ba.gov.br/site/diariooficial
  • Jussiape - BA https://www.jussiape.ba.gov.br/site/diariooficial
  • Lafaiete Coutinho - BA https://www.lafaietecoutinho.ba.gov.br/site/diariooficial
  • Lauro de Freitas - BA https://sai.io.org.br/ba/laurodefreitas/Site/DiarioOficial
  • Lençóis - BA https://www.lencois.ba.gov.br/site/diariooficial
  • Livramento de Nossa Senhora - BA https://www.livramentodenossasenhora.ba.gov.br/site/diariooficial
  • Luís Eduardo Magalhães - BA https://sai.io.org.br/ba/luiseduardomagalhaes/Site/DiarioOficial
  • Macururé - BA https://www.macurure.ba.gov.br/site/diariooficial
  • Malhada de Pedras - BA https://sai.io.org.br/ba/malhadadepedras/Site/DiarioOficial
  • Mansidão - BA https://www.mansidao.ba.gov.br/site/diariooficial
  • Maracás - BA https://www.maracas.ba.gov.br/site/diariooficial
  • Maragogipe - BA https://sai.io.org.br/ba/maragojipe/site/diariooficial
  • Maraú - BA https://sai.io.org.br/ba/marau/Site/DiarioOficial
  • Massaranduba - PB https://www.massaranduba.pb.gov.br/site/diariooficial
  • Medeiros Neto - BA https://www.medeirosneto.ba.gov.br/site/diariooficial
  • Milagres - BA https://www.milagres.ba.gov.br/site/diariooficial
  • Mirangaba - BA https://www.mirangaba.ba.gov.br/site/diariooficial
  • Mirante - BA https://www.mirante.ba.gov.br/site/diariooficial
  • Morpará - BA https://www.morpara.ba.gov.br/site/diariooficial
  • Mortugaba - BA https://www.mortugaba.ba.gov.br/site/diariooficial
  • Muniz Ferreira - BA https://www.munizferreira.ba.gov.br/site/diariooficial
  • Murici - AL https://www.murici.al.gov.br/site/diariooficial Alagoas Completo
  • Mutuípe - BA https://www.mutuipe.ba.gov.br/site/diariooficial
  • Nilo Peçanha - BA https://www.nilopecanha.ba.gov.br/site/diariooficial
  • Nordestina - BA https://www.nordestina.ba.gov.br/site/diariooficial
  • Nova Canaã - BA https://www.novacanaa.ba.gov.br/site/diariooficial
  • Nova Soure - BA https://www.novasoure.ba.gov.br/site/diariooficial
  • Nova Viçosa - BA https://www.novavicosa.ba.gov.br/site/diariooficial
  • Novo Triunfo - BA https://www.novotriunfo.ba.gov.br/site/diariooficial
  • Ourolândia - BA https://www.ourolandia.ba.gov.br/site/diariooficial
  • Palmeira dos Índios - AL https://sai.io.org.br/al/palmeiradosindios/Site/DiarioOficial Alagoas Completo
  • Palmeiras - BA https://www.palmeiras.ba.gov.br/site/diariooficial
  • Paripiranga - BA https://www.paripiranga.ba.gov.br/site/diariooficial
  • Pau Brasil - BA https://www.paubrasil.ba.gov.br/site/diariooficial
  • Paulo Afonso - BA https://sai.io.org.br/ba/pauloafonso/Site/DiarioOficial
  • Pedrão - BA https://www.pedrao.ba.gov.br/site/diariooficial
  • Penedo - AL https://sai.io.org.br/al/penedo/Site/DiarioOficial Alagoas Completo
  • Piatã - BA https://www.piata.ba.gov.br/site/diariooficial
  • Pindobaçu - BA https://sai.io.org.br/ba/pindobacu/Site/DiarioOficial
  • Piripá - BA https://www.piripa.ba.gov.br/site/diariooficial
  • Planaltino - BA https://www.planaltino.ba.gov.br/site/diariooficial
  • Planalto - BA https://www.planalto.ba.gov.br/site/diariooficial
  • Poções - BA https://sai.io.org.br/ba/pocoes/Site/DiarioOficial
  • Pojuca - BA https://sai.io.org.br/ba/pojuca/Site/DiarioOficial
  • Presidente Jânio Quadros - BA https://sai.io.org.br/ba/presidentejanioquadros/Site/DiarioOficial
  • Quijingue - BA https://www.quijingue.ba.gov.br/site/diariooficial
  • Quixabeira - BA https://www.quixabeira.ba.gov.br/site/diariooficial
  • Rafael Jambeiro - BA https://www.rafaeljambeiro.ba.gov.br/site/diariooficial
  • Riachão das Neves - BA https://sai.io.org.br/ba/riachaodasneves/Site/DiarioOficial
  • Ribeira do Amparo - BA https://www.ribeiradoamparo.ba.gov.br/site/diariooficial
  • Ribeira do Pombal - BA https://sai.io.org.br/ba/ribeiradopombal/Site/DiarioOficial
  • Ribeirão do Largo - BA https://www.ribeiraodolargo.ba.gov.br/site/diariooficial
  • Rio de Contas - BA https://www.riodecontas.ba.gov.br/site/diariooficial
  • Rio do Antônio - BA https://www.riodoantonio.ba.gov.br/site/diariooficial
  • Rodelas - BA https://www.rodelas.ba.gov.br/site/diariooficial
  • Salinas da Margarida - BA https://www.salinasdamargarida.ba.gov.br/site/diariooficial
  • Salvador - BA https://sai.io.org.br/ba/salvador/Site/DiarioOficial
  • Santa Brígida - BA https://sai.io.org.br/ba/santabrigida/Site/DiarioOficial
  • Santa Cruz da Vitória - BA https://www.santacruzdavitoria.ba.gov.br/site/diariooficial
  • Santa Inês - BA https://www.santaines.ba.gov.br/site/diariooficial
  • Santa Luzia - BA https://www.santaluzia.ba.gov.br/site/diariooficial
  • Santa Teresinha - BA https://www.santateresinha.ba.gov.br/site/diariooficial
  • Santo Antônio de Jesus - BA https://sai.io.org.br/ba/santoantoniodejesus/Site/DiarioOficial
  • São José da Vitória - BA https://www.saojosedavitoria.ba.gov.br/site/diariooficial
  • São Sebastião do Passé - BA https://sai.io.org.br/ba/saosebastiaodopasse/Site/DiarioOficial
  • Saubara - BA https://www.saubara.ba.gov.br/site/diariooficial
  • Seabra - BA https://sai.io.org.br/ba/seabra/Site/DiarioOficial
  • Serra Dourada - BA https://www.serradourada.ba.gov.br/site/diariooficial
  • Serrolândia - BA https://www.serrolandia.ba.gov.br/site/diariooficial
  • Sítio do Quinto - BA https://www.sitiodoquinto.ba.gov.br/site/diariooficial
  • Taperoá - BA https://www.taperoa.ba.gov.br/site/diariooficial
  • Teixeira de Freitas - BA https://sai.io.org.br/ba/teixeiradefreitas/Site/DiarioOficial
  • Teofilândia - BA https://www.teofilandia.ba.gov.br/site/diariooficial
  • Ubaíra - BA https://www.ubaira.ba.gov.br/site/diariooficial
  • Ubaitaba - BA https://www.ubaitaba.ba.gov.br/site/diariooficial
  • Ubatã - BA https://www.ubata.ba.gov.br/site/diariooficial
  • Umbaúba - SE https://www.umbauba.se.gov.br/site/diariooficial
  • Una - BA https://www.una.ba.gov.br/site/diariooficial
  • Uruçuca - BA https://www.urucuca.ba.gov.br/site/diariooficial
  • Valença - BA https://sai.io.org.br/ba/valenca/Site/DiarioOficial
  • Várzea Nova - BA https://www.varzeanova.ba.gov.br/site/diariooficial
  • Varzedo - BA https://www.varzedo.ba.gov.br/site/diariooficial
  • Vereda - BA https://sai.io.org.br/ba/vereda/Site/DiarioOficial
    @trevineju trevineju added spider Adiciona ou atualiza um robô raspador status:em-espera Outra issue precisa ser resolvida primeiro labels Mar 17, 2024
    @trevineju trevineju added this to the Cobertura completa do Estado do Alagoas milestone Mar 17, 2024
    @trevineju trevineju added good first issue Sugestão de tarefa para quem contribui pela primeira vez neste repositório dificuldade:baixa Pouco desafiador de desenvolver and removed status:em-espera Outra issue precisa ser resolvida primeiro labels Mar 22, 2024
    @cassiasamp
    Copy link
    Contributor

    oi @trevineju ..eu vi que a #907 está em produção e eu gostaria de começar a trabalhar nesta issue
    só para ver se eu entendi corretamente..eu poderia começar criando um raspador para Abaré - BA, certo? e aí criar novos raspadores para os outros links vigentes...ou o mapeamento teria outro significado?

    @trevineju
    Copy link
    Member Author

    Isso, @cassiasamp. O mapeamento serve apenas para listar os sites parecidos. Pode começar com Abaré-BA, sim. Se você puder enviar a PR com mais de um município (talvez uns 5), melhor. Não precisa ser um monte também, mas você vai notar que é muito simples. Basta copiar os municípios da PR #907

    @trevineju trevineju modified the milestones: Cobertura de municípios alagoanos, Integrar mil municípios Mar 28, 2024
    @trevineju trevineju added epic Grande tarefa. Geralmente, uma tarefa épica se desdobra em outras tarefas and removed spider Adiciona ou atualiza um robô raspador labels Mar 28, 2024
    @cassiasamp
    Copy link
    Contributor

    Obrigada @trevineju. Confirmando o que entendi da sua última mensagem..seria algo equivalente à este arquivo de Igaci ..só que para as urls vigentes?

    @trevineju
    Copy link
    Member Author

    Obrigada @trevineju. Confirmando o que entendi da sua última mensagem..seria algo equivalente à este arquivo de Igaci ..só que para as urls vigentes?

    Isso, @cassiasamp. Para cada caso de URL vigente listada aqui, precisa de um arquivo como o de Igaci, modificado para o município em questão. Por isso falei que dava para contribuir com alguns.

    @cassiasamp
    Copy link
    Contributor

    obrigada @trevineju! Acabei de fazer o de Abaré, só tive um erro (aparentemente de 404) quando raspei tudo. Posso mandar assim mesmo com as evidências? Penso em mandar os primeiros 5 num mesmo PR, ou é melhor um por um?

    eu queria confirmar que além desse município, irei fazer os próximos 4 de Acajutiba, Acorizal, Acrelândia e Aiquara. Pretendo ir pegando os outros também até terminar a lista.

    [meio off topic] eu também precisei instalar diversas outras bibliotecas para conseguir rodar o crawler..pensei em atualizar a documentação futuramente com esses detalhes, faria sentido? ou pelo menos atualizar o requirements-dev.txt?

    @trevineju
    Copy link
    Member Author

    obrigada @trevineju! Acabei de fazer o de Abaré, só tive um erro (aparentemente de 404) quando raspei tudo. Posso mandar assim mesmo com as evidências? Penso em mandar os primeiros 5 num mesmo PR, ou é melhor um por um?

    Isso. Essas questões sobre desempenho da coleta podemos conversar na própria PR. Manda sim os 5 juntos. Quando é um raspador mais complexo, fica melhor ser um por um, mas não é o caso desses raspadores padrão.

    eu queria confirmar que além desse município, irei fazer os próximos 4 de Acajutiba, Acorizal, Acrelândia e Aiquara. Pretendo ir pegando os outros também até terminar a lista.

    Ah, sensacional! Muito obrigada! <3

    [meio off topic] eu também precisei instalar diversas outras bibliotecas para conseguir rodar o crawler..pensei em atualizar a documentação futuramente com esses detalhes, faria sentido? ou pelo menos atualizar o requirements-dev.txt?

    A diferença do requirements e requirements-dev é que o primeiro são as dependências usadas em produção e o segundo (com -dev) só é usado durante o desenvolvimento. Se você precisou adicionar dependências, pode ser o caso de atualizar o requirements.in, porém precisaria ver melhor quais bibliotecas. Pode abrir uma outra PR para essa modificação e conversamos nela?

    @cassiasamp
    Copy link
    Contributor

    cassiasamp commented Apr 25, 2024

    Acabei de mandar uma draft de PR. Infelizmente, só consegui coletar para Abaré e Almadina. Ainda não entendi o que aconteceu com os outros municípios.

    Irei abrir outro PR para as dependências, eu tive outros problemas de um arquivo querido-diario.db que surgia e acabava impedindo que os spiders rodassem, pois dava um erro de integridade ao tentar adicionar o município novamente ao db..precisei clonar o repositório de novo e agora já sei quais as bibliotecas, são apenas duas.

    @trevineju
    Copy link
    Member Author

    Irei abrir outro PR para as dependências, eu tive outros problemas de um arquivo querido-diario.db que surgia e acabava impedindo que os spiders rodassem, pois dava um erro de integridade ao tentar adicionar o município novamente ao db..precisei clonar o repositório de novo e agora já sei quais as bibliotecas, são apenas duas.

    Só deletar o querido-diario.db. Esse arquivo é um banco de dados SQLite, ele é criado toda vez que um raspador é executado e, realmente, se for executar o mesmo raspador mais de uma vez, ele vai reclamar, pois você estaria inserindo duas vezes o mesmo arquivo no banco. Mas pode excluir ele sempre que for fazer outra coleta, sem preocupações.

    @cassiasamp
    Copy link
    Contributor

    exatamente! depois do drama de "como assim tá dando erro?" eu entendi e comecei a deletar o arquivo do db, aí deu pra rodar o raspador mais de uma vez.

    Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
    Labels
    dificuldade:baixa Pouco desafiador de desenvolver epic Grande tarefa. Geralmente, uma tarefa épica se desdobra em outras tarefas good first issue Sugestão de tarefa para quem contribui pela primeira vez neste repositório
    Projects
    Development

    No branches or pull requests

    2 participants