Other cities from DiOE

[danielbom]

A partiir do pull request #460, fiz um script básico para navegar e coletar as possíveis cidades do site DiOE, observando a página de pesquisa deles. Não tenho certeza se todos irão funcionar facilmente, então precisa de uma avaliação manual de cada spider novo.

O spider base (DospGazetteSpider) exige o código (code) e uma data inicial (start_date) para ser executado. Os dados que coletei contém o código da cidade, mas a data inicial ainda precisa ser identificada. Decidi manter os dados do estado também porque acredito que possa auxiliar na hora da identificação e confirmação das cidades no arquivo CITIES.md.

Edit 1

Para ter uma ideia dos diários eletrônicos deste portal, é necessário acessar o site https://imprensaoficialmunicipal.com.br/{nome_da_cidade}, por exemplo: https://imprensaoficialmunicipal.com.br/itapagipe, https://imprensaoficialmunicipal.com.br/guaracai. Não testei cidades com acentos. E já vi algumas cidades sem nenhum diário (Sad). Está é uma maneira eficiente de obter a data inicial da cidade, pois a partir deste link é possível ir até a última página e ver o primeiro diário feito, pois eles estão ordenados pela data de publicação de forma decrescente.

Edit 2

Atualização da tabela de cidades.

state_name,state_code,city_name,city_code,city,start_dates,last_dates
Maranhão (MA),10,Buriti,1159,buriti,-,-
Minas Gerais (MG),11,Itapagipe,1918,itapagipe,12/03/2021,13/08/2021
Minas Gerais (MG),11,Matozinhos,2016,matozinhos,02/04/2020,13/08/2021
Minas Gerais (MG),11,Monsenhor Paulo,2032,monsenhor_paulo,12/04/2017,11/08/2021
Pernambuco (PE),16,Araçoiaba,3170,aracoiaba,18/07/2017,13/08/2021
Pernambuco (PE),16,Cabrobó,3190,cabrobo,12/04/2019,13/08/2021
Pernambuco (PE),16,Cabrobó Legislativo,5516,cabrobo_legislativo,12/04/2019,13/08/2021
Pernambuco (PE),16,Paulista,3281,paulista,24/06/2020,23/03/2021
Paraná (PR),18,Cafezal do Sul,2808,cafezal_do_sul,14/04/2016,12/08/2021
Rio Grande do Sul (RS),23,Marau,4049,marau,17/10/2017,13/08/2021
Rio Grande do Sul (RS),23,Três Arroios,4247,tres_arroios,26/04/2017,13/08/2021
São Paulo (SP),26,Adolfo,4650,adolfo,22/05/2015,12/08/2021
São Paulo (SP),26,Águas da Prata,4652,aguas_da_prata,24/08/2018,13/08/2021
São Paulo (SP),26,Águas de Lindóia,4653,aguas_de_lindoia,31/01/2020,13/08/2021
São Paulo (SP),26,Agudos,4656,agudos,29/06/2017,13/08/2021
São Paulo (SP),26,Altinópolis,4660,altinopolis,06/09/2017,13/08/2021
São Paulo (SP),26,Álvares Florence,4663,alvares_florence,22/03/2013,13/08/2021
São Paulo (SP),26,Álvaro de Carvalho,4665,alvaro_de_carvalho,10/04/2018,13/08/2021
São Paulo (SP),26,Américo de Campos,4669,americo_de_campos,30/06/2014,14/08/2021
São Paulo (SP),26,Amparo,4670,amparo,18/10/2019,13/08/2021
São Paulo (SP),26,Araçatuba,4680,aracatuba,24/04/2020,14/08/2021
São Paulo (SP),26,Arealva,4688,arealva,09/10/2017,11/08/2021
São Paulo (SP),26,Avaí,4698,avai,18/09/2017,13/08/2021
São Paulo (SP),26,Avaré,4700,avare,05/10/2018,13/08/2021
São Paulo (SP),26,Balbinos,4702,balbinos,22/02/2018,12/08/2021
São Paulo (SP),26,Bálsamo,4703,balsamo,23/02/2017,13/08/2021
São Paulo (SP),26,Bariri,4707,bariri,14/12/2017,13/08/2021
São Paulo (SP),26,Barra Bonita,4708,barra_bonita,20/05/2021,13/08/2021
São Paulo (SP),26,Barra do Turvo,4710,barra_do_turvo,-,-
São Paulo (SP),26,Bento de Abreu,4718,bento_de_abreu,24/06/2016,13/08/2021
São Paulo (SP),26,Birigui,4722,birigui,-,-
São Paulo (SP),26,Bocaina,4725,bocaina,23/07/2018,13/08/2021
São Paulo (SP),26,Boracéia,4731,boraceia,15/02/2018,15/02/2018
São Paulo (SP),26,Borborema,4732,borborema,10/05/2016,13/08/2021
São Paulo (SP),26,Bragança Paulista,4735,braganca_paulista,11/01/2019,13/08/2021
São Paulo (SP),26,Brodowski,4738,brodowski,15/08/2017,13/08/2021
São Paulo (SP),26,Buritama,4741,buritama,24/10/2019,14/08/2021
São Paulo (SP),26,Cafelândia,4748,cafelandia,23/06/2017,13/08/2021
São Paulo (SP),26,Caiabu,4749,caiabu,27/11/2018,13/08/2021
São Paulo (SP),26,Cajobi,4754,cajobi,17/06/2013,13/08/2021
São Paulo (SP),26,Canitar,4765,canitar,10/10/2018,13/08/2021
São Paulo (SP),26,Capela do Alto,4767,capela_do_alto,05/10/2018,13/08/2021
São Paulo (SP),26,Cardoso,4771,cardoso,11/05/2019,13/08/2021
São Paulo (SP),26,Casa Branca,4772,casa_branca,-,-
São Paulo (SP),26,Castilho,4774,castilho,24/07/2018,13/08/2021
São Paulo (SP),26,Catiguá,4776,catigua,16/04/2021,13/08/2021
São Paulo (SP),26,Cioeste,5509,cioeste,13/11/2019,26/07/2021
São Paulo (SP),26,Colômbia,4785,colombia,12/01/2017,11/08/2021
São Paulo (SP),26,Coroados,4789,coroados,28/02/2018,13/08/2021
São Paulo (SP),26,Cosmorama,4793,cosmorama,09/04/2015,13/08/2021
São Paulo (SP),26,Cruzália,4797,cruzalia,19/03/2019,13/08/2021
São Paulo (SP),26,Dirce Reis,4803,dirce_reis,11/04/2019,13/08/2021
São Paulo (SP),26,Dobrada,4805,dobrada,10/06/2016,12/08/2021
São Paulo (SP),26,Dolcinópolis,4807,dolcinopolis,25/01/2018,13/08/2021
São Paulo (SP),26,Dourado,4808,dourado,23/10/2017,13/08/2021
São Paulo (SP),26,Elias Fausto,4814,elias_fausto,16/02/2018,12/08/2021
São Paulo (SP),26,Elisiário,4815,elisiario,22/03/2019,06/08/2021
São Paulo (SP),26,Embaúba,4816,embauba,11/06/2021,13/08/2021
São Paulo (SP),26,Estrela d`Oeste,4824,estrela_d_oeste,31/01/2018,13/08/2021
São Paulo (SP),26,Euclides da Cunha Paulista,4826,euclides_da_cunha_paulista,30/10/2018,13/08/2021
São Paulo (SP),26,Fernando Prestes,4828,fernando_prestes,25/10/2013,13/08/2021
São Paulo (SP),26,Fernão,4830,fernao,01/02/2018,13/08/2021
São Paulo (SP),26,Florínea,4834,florinea,01/11/2017,12/08/2021
São Paulo (SP),26,Gabriel Monteiro,4839,gabriel_monteiro,15/08/2018,13/08/2021
São Paulo (SP),26,Gália,4840,galia,08/03/2018,13/08/2021
São Paulo (SP),26,Garça,4841,garca,28/08/2014,13/08/2021
São Paulo (SP),26,Getulina,4845,getulina,07/01/2016,13/08/2021
São Paulo (SP),26,Guaiçara,4847,guaicara,27/12/2017,13/08/2021
São Paulo (SP),26,Guaimbê,4848,guaimbe,16/09/2015,13/08/2021
São Paulo (SP),26,Guapiaçu,4850,guapiacu,13/12/2018,12/08/2021
São Paulo (SP),26,Guará,4852,guara,08/01/2015,13/08/2021
São Paulo (SP),26,Guaraçaí,4853,guaracai,02/10/2018,13/08/2021
São Paulo (SP),26,Guarani d`Oeste,4855,guarani_d_oeste,18/04/2019,13/08/2021
São Paulo (SP),26,Guarantã,4856,guaranta,23/01/2017,13/08/2021
São Paulo (SP),26,Guararapes,4857,guararapes,21/10/2016,13/08/2021
São Paulo (SP),26,Guareí,4860,guarei,08/02/2019,13/08/2021
São Paulo (SP),26,Guariba,4861,guariba,07/07/2018,13/08/2021
São Paulo (SP),26,Herculândia,4866,herculandia,05/02/2020,11/08/2021
São Paulo (SP),26,Holambra,4867,holambra,05/05/2017,13/08/2021
São Paulo (SP),26,Iacanga,4869,iacanga,24/04/2017,13/08/2021
São Paulo (SP),26,Icém,4877,icem,04/06/2018,13/08/2021
São Paulo (SP),26,Iepê,4878,iepe,22/10/2019,13/08/2021
São Paulo (SP),26,Igarapava,4880,igarapava,10/10/2019,13/08/2021
São Paulo (SP),26,Indiaporã,4888,indiapora,31/12/2015,13/08/2021
São Paulo (SP),26,Ipeúna,4892,ipeuna,15/10/2019,12/08/2021
São Paulo (SP),26,Ipuã,4895,ipua,13/12/2019,13/08/2021
São Paulo (SP),26,Irapuã,4897,irapua,01/07/2021,13/08/2021
São Paulo (SP),26,Itaberá,4899,itabera,24/10/2018,13/08/2021
São Paulo (SP),26,Itajobi,4901,itajobi,22/06/2018,13/08/2021
São Paulo (SP),26,Itaju,4902,itaju,25/07/2018,13/08/2021
São Paulo (SP),26,Itapeva,4907,itapeva,22/12/2017,13/08/2021
São Paulo (SP),26,Itapevi,4908,itapevi,21/12/2018,13/08/2021
São Paulo (SP),26,Itapira,4909,itapira,16/09/2011,13/08/2021
São Paulo (SP),26,Itapura,4914,itapura,21/07/2018,13/08/2021
São Paulo (SP),26,Itararé,4916,itarare,06/04/2018,13/08/2021
São Paulo (SP),26,Itirapina,4920,itirapina,13/02/2019,12/08/2021
São Paulo (SP),26,Itirapina Legislativo,5515,itirapina_legislativo,19/05/2021,11/08/2021
São Paulo (SP),26,Itu,4923,itu,30/08/2019,13/08/2021
São Paulo (SP),26,Itupeva,4924,itupeva,24/09/2019,13/08/2021
São Paulo (SP),26,Itupeva Legislativo,5511,itupeva_legislativo,24/09/2019,13/08/2021
São Paulo (SP),26,Jaborandi,4926,jaborandi,27/09/2017,12/08/2021
São Paulo (SP),26,Jaci,4929,jaci,24/10/2017,12/08/2021
São Paulo (SP),26,Jaguariúna,4931,jaguariuna,08/03/2019,13/08/2021
São Paulo (SP),26,Jales,4932,jales,16/08/2017,13/08/2021
São Paulo (SP),26,Jardinópolis,4935,jardinopolis,16/03/2020,13/08/2021
São Paulo (SP),26,João Ramalho,4940,joao_ramalho,27/03/2020,13/08/2021
São Paulo (SP),26,José Bonifácio,4941,jose_bonifacio,01/10/2014,13/08/2021
São Paulo (SP),26,Júlio Mesquita,4942,julio_mesquita,12/03/2018,13/08/2021
São Paulo (SP),26,Jumirim,4943,jumirim,05/01/2018,12/08/2021
São Paulo (SP),26,Laranjal Paulista,4949,laranjal_paulista,25/03/2021,13/08/2021
São Paulo (SP),26,Lindóia,4955,lindoia,04/02/2020,13/08/2021
São Paulo (SP),26,Lindóia Legislativo,5512,lindoia_legislativo,04/02/2020,13/08/2021
São Paulo (SP),26,Lins,4956,lins,26/12/2017,13/08/2021
São Paulo (SP),26,Lourdes,4958,lourdes,28/09/2017,12/08/2021
São Paulo (SP),26,Louveira,4959,louveira,16/05/2019,13/08/2021
São Paulo (SP),26,Luiz Antônio,4962,luiz_antonio,-,-
São Paulo (SP),26,Lupércio,4964,lupercio,17/07/2017,13/08/2021
São Paulo (SP),26,Lutécia,4965,lutecia,01/08/2018,13/08/2021
São Paulo (SP),26,Magda,4969,magda,18/07/2018,13/08/2021
São Paulo (SP),26,Marabá Paulista,4973,maraba_paulista,14/12/2018,12/08/2021
São Paulo (SP),26,Maracaí,4974,maracai,11/08/2017,13/08/2021
São Paulo (SP),26,Martinópolis,4979,martinopolis,11/07/2018,13/08/2021
São Paulo (SP),26,Meridiano,4983,meridiano,29/10/2014,13/08/2021
São Paulo (SP),26,Mineiros do Tietê,4986,mineiros_do_tiete,12/01/2018,13/08/2021
São Paulo (SP),26,Mirassol,4991,mirassol,05/03/2018,13/08/2021
São Paulo (SP),26,Mococa,4993,mococa,15/03/2018,13/08/2021
São Paulo (SP),26,Mongaguá,4999,mongagua,25/08/2017,14/08/2021
São Paulo (SP),26,Monte Aprazível,5002,monte_aprazivel,03/05/2017,13/08/2021
São Paulo (SP),26,Monte Azul Paulista,5003,monte_azul_paulista,06/11/2013,13/08/2021
São Paulo (SP),26,Monte Castelo,5004,monte_castelo,09/05/2019,13/08/2021
São Paulo (SP),26,Monteiro Lobato,5006,monteiro_lobato,26/11/2020,13/08/2021
São Paulo (SP),26,Morro Agudo,5007,morro_agudo,24/01/2017,13/08/2021
São Paulo (SP),26,Morungaba,5008,morungaba,17/08/2017,13/08/2021
São Paulo (SP),26,Murutinga do Sul,5010,murutinga_do_sul,26/07/2018,13/08/2021
São Paulo (SP),26,Nantes,5011,nantes,18/04/2018,13/08/2021
São Paulo (SP),26,Nova Aliança,5018,nova_alianca,29/01/2021,11/08/2021
São Paulo (SP),26,Nova Campina,5019,nova_campina,04/02/2021,13/08/2021
São Paulo (SP),26,Nova Europa,5022,nova_europa,14/01/2019,13/08/2021
São Paulo (SP),26,Nova Granada,5023,nova_granada,22/02/2018,13/08/2021
São Paulo (SP),26,Nova Guataporanga,5024,nova_guataporanga,17/09/2019,13/08/2021
São Paulo (SP),26,Nova Independência,5025,nova_independencia,19/07/2021,13/08/2021
São Paulo (SP),26,Ocauçu,5031,ocaucu,24/09/2018,11/08/2021
São Paulo (SP),26,Olímpia,5033,olimpia,29/06/2017,13/08/2021
São Paulo (SP),26,Orindiúva,5036,orindiuva,19/03/2015,13/08/2021
São Paulo (SP),26,Ouroeste,5043,ouroeste,05/05/2021,13/08/2021
São Paulo (SP),26,Paraíso,5052,paraiso,28/09/2015,13/08/2021
São Paulo (SP),26,Pardinho,5056,pardinho,01/08/2019,13/08/2021
São Paulo (SP),26,Parisi,5058,parisi,27/02/2015,31/07/2019
São Paulo (SP),26,Paulicéia,5060,pauliceia,25/03/2019,13/08/2021
São Paulo (SP),26,Paulo de Faria,5063,paulo_de_faria,09/05/2018,13/08/2021
São Paulo (SP),26,Pederneiras,5064,pederneiras,17/01/2018,13/08/2021
São Paulo (SP),26,Pedra Bela,5065,pedra_bela,26/04/2018,02/05/2019
São Paulo (SP),26,Pereira Barreto,5072,pereira_barreto,02/04/2014,13/08/2021
São Paulo (SP),26,Piacatu,5075,piacatu,28/09/2018,13/08/2021
São Paulo (SP),26,Pirajuí,5086,pirajui,02/05/2017,13/08/2021
São Paulo (SP),26,Pirangi,5087,pirangi,21/09/2015,13/08/2021
São Paulo (SP),26,Pirapozinho,5089,pirapozinho,06/03/2021,14/08/2021
São Paulo (SP),26,Pitangueiras,5092,pitangueiras,06/10/2017,11/08/2021
São Paulo (SP),26,Poloni,5096,poloni,30/01/2020,23/07/2021
São Paulo (SP),26,Pongaí,5098,pongai,07/08/2018,06/08/2021
São Paulo (SP),26,Presidente Venceslau,5116,presidente_venceslau,08/03/2021,13/08/2021
São Paulo (SP),26,Promissão,5117,promissao,07/08/2015,13/08/2021
São Paulo (SP),26,Quatá,5119,quata,15/12/2017,13/08/2021
São Paulo (SP),26,Regente Feijó,5126,regente_feijo,31/10/2018,13/08/2021
São Paulo (SP),26,Reginópolis,5127,reginopolis,09/02/2018,13/08/2021
São Paulo (SP),26,Ribeirão Bonito,5131,ribeirao_bonito,28/06/2016,13/08/2021
São Paulo (SP),26,Rio das Pedras,5143,rio_das_pedras,11/10/2017,13/08/2021
São Paulo (SP),26,Riolândia,5145,riolandia,14/05/2014,13/08/2021
São Paulo (SP),26,Rosana,5147,rosana,04/05/2019,14/08/2021
São Paulo (SP),26,Rubiácea,5149,rubiacea,13/09/2017,12/08/2021
São Paulo (SP),26,Rubinéia,5150,rubineia,02/07/2019,13/08/2021
São Paulo (SP),26,Sabino,5151,sabino,31/01/2018,13/08/2021
São Paulo (SP),26,Sales,5153,sales,22/12/2017,13/08/2021
São Paulo (SP),26,Saltinho,5157,saltinho,05/06/2019,13/08/2021
São Paulo (SP),26,Salto,5158,salto,01/02/2018,14/08/2021
São Paulo (SP),26,Santa Clara d`Oeste,5166,santa_clara_d_oeste,16/06/2021,10/08/2021
São Paulo (SP),26,Santa Cruz da Conceição,5167,santa_cruz_da_conceicao,01/11/2016,13/08/2021
São Paulo (SP),26,Santa Mercedes,5177,santa_mercedes,01/03/2019,13/08/2021
São Paulo (SP),26,Santa Rita do Passa Quatro,5179,santa_rita_do_passa_quatro,22/01/2018,13/08/2021
São Paulo (SP),26,Santa Rita d`Oeste,5178,santa_rita_d_oeste,07/05/2021,12/08/2021
São Paulo (SP),26,Santo Anastácio,5184,santo_anastacio,25/09/2020,13/08/2021
São Paulo (SP),26,Santo Antônio de Posse,5187,santo_antonio_de_posse,14/08/2018,13/08/2021
São Paulo (SP),26,Santópolis do Aguapeí,5192,santopolis_do_aguapei,01/07/2014,30/12/2019
São Paulo (SP),26,Santópolis do Aguapeí Legislativo,5513,santopolis_do_aguapei_legislativo,16/09/2020,11/08/2021
São Paulo (SP),26,São Bento do Sapucaí,5194,sao_bento_do_sapucai,13/04/2021,13/08/2021
São Paulo (SP),26,São Bernardo do Campo,5195,sao_bernardo_do_campo,02/06/2017,13/08/2021
São Paulo (SP),26,São Joaquim da Barra,5203,sao_joaquim_da_barra,26/05/2017,13/08/2021
São Paulo (SP),26,São José do Rio Pardo,5206,sao_jose_do_rio_pardo,07/11/2018,13/08/2021
São Paulo (SP),26,Severínia,5229,severinia,07/03/2017,13/08/2021
São Paulo (SP),26,Suzanápolis,5235,suzanapolis,04/10/2018,13/08/2021
São Paulo (SP),26,Tabapuã,5237,tabapua,19/06/2018,13/08/2021
São Paulo (SP),26,Taciba,5240,taciba,18/07/2018,13/08/2021
São Paulo (SP),26,Taiúva,5243,taiuva,08/01/2018,12/08/2021
São Paulo (SP),26,Tanabi,5245,tanabi,17/06/2019,13/08/2021
São Paulo (SP),26,Taquaritinga,5249,taquaritinga,14/01/2016,13/08/2021
São Paulo (SP),26,Taquarivaí,5251,taquarivai,30/01/2019,13/08/2021
São Paulo (SP),26,Tarabai,5252,tarabai,09/04/2018,13/08/2021
São Paulo (SP),26,Teodoro Sampaio,5257,teodoro_sampaio,30/08/2018,14/08/2021
São Paulo (SP),26,Teodoro Sampaio Legislativo,5514,teodoro_sampaio_legislativo,30/08/2018,14/08/2021
São Paulo (SP),26,Torrinha,5262,torrinha,02/06/2021,13/08/2021
São Paulo (SP),26,Tremembé,5264,tremembe,11/05/2016,13/08/2021
São Paulo (SP),26,Tuiuti,5266,tuiuti,07/11/2014,11/08/2021
São Paulo (SP),26,Tupã,5267,tupa,-,-
São Paulo (SP),26,Turmalina,5270,turmalina,16/01/2018,10/08/2021
São Paulo (SP),26,Ubirajara,5273,ubirajara,13/04/2018,13/08/2021
São Paulo (SP),26,Urânia,5276,urania,14/01/2020,13/08/2021
São Paulo (SP),26,Uru,5277,uru,07/08/2018,09/08/2021
São Paulo (SP),26,Urupês,5278,urupes,15/07/2021,12/08/2021
São Paulo (SP),26,Valentim Gentil,5279,valentim_gentil,05/11/2015,12/08/2021
São Paulo (SP),26,Vargem,5282,vargem,13/02/2020,13/08/2021
São Paulo (SP),26,Vargem Grande do Sul,5283,vargem_grande_do_sul,13/09/2018,13/08/2021
São Paulo (SP),26,Vargem Grande Paulista,5284,vargem_grande_paulista,07/06/2019,13/08/2021
São Paulo (SP),26,Viradouro,5288,viradouro,05/06/2013,13/08/2021
São Paulo (SP),26,Vitória Brasil,5290,vitoria_brasil,19/02/2019,11/08/2021
São Paulo (SP),26,Votuporanga,5292,votuporanga,06/10/2015,14/08/2021
São Paulo (SP),26,Zacarias,5293,zacarias,05/10/2018,13/08/2021
Tocantins (TO),27,Filadélfia,5421,filadelfia,07/01/2021,12/08/2021
Tocantins (TO),27,Riachinho,5478,riachinho,18/02/2021,10/08/2021
Modelândia (MO),28,Modelândia,5508,modelandia,03/11/2019,03/11/2019
Modelândia (MO),28,Modelândia AT,5517,modelandia_at,-,-
Modelândia (MO),28,Modelândia Legislativo,5510,modelandia_legislativo,03/11/2019,03/11/2019

[anapaulagomes]

Wow! Quantos spiders. Muito bom! 🕸️
Uma dúvida: seu script consegue ver a última data de atualização (última edição do diário)? Alguns portais deixam de ser utilizados mas os dados históricos são mantidos. Seria interessante saber isso.

[danielbom]

Wow! Quantos spiders. Muito bom!
Uma dúvida: seu script consegue ver a última data de atualização (última edição do diário)? Alguns portais deixam de ser utilizados mas os dados históricos são mantidos. Seria interessante saber isso.

Não sei se entendi muito bem. Adicionei uma nova nota sobre como obter a data inicial dos registros. É possível obter uma data final seguindo a mesma lógica. No caso, como não sei o comportamento exato da URL para qualquer cidade, não sei se seria fácil obter este valor para cada cidade de forma automática. Não estou muito animado para fazer isso, mas quando bater a vontade eu testo o que consigo obter.

[anapaulagomes]

Seria abrir a página e pegar a data atual. Exemplo: https://imprensaoficialmunicipal.com.br/itapagipe. Ao abrir agora a data da última edição é 12/08/2021. Se não for fácil, pode deixar pra lá. :) De toda forma, muito bom oq tu já fez!

[danielbom]

Prontinho. Lista de cidades atualizadas com as datas iniciais e finais. Pensei em transformar esta lista em formato markdown, mas desisti no final, pois percebi que é mais fácil processar ela em formato CSV, e acredito que ficaria mais fácil para criar de forma automática todos os scraper para as cidades.

Cidades sem registro de data inicial e final são o resultado de algum problema na hora de acessar o site, ou não existiam nenhum registro desta cidade neste portal. Posso estar errado, então é necessário fazer uma verificação manual.

[anapaulagomes]

Excelente! Super útil ter esse dado. Podemos criar uma issue para as que estiverem desatualizadas e tiverem um outro portal.

Sobre o formato, você está certo. Temos um script para gerar spiders de uma mesma fonte a partir de um csv.

[dsambugaro]

@danielbom, como são muitas cidades, que tal coordenarmos para converter este .csv no formato que o script para gerar spiders aceita, gerar os spiders e então fazer a verificação manual do funcinoamento deles? @flame3br e eu podemos auxiliar

[danielbom]

@dsambugaro Por mim tudo bem. Estava pensando em gerar tudo e mandar um PR, fazer um commit para cada cidade e sugerir cherry pick para cidades validadas, mas isso é um fluxo diferente do que vejo acontecendo. O que você sugere é mais aceitável ao que já esta acontecendo e seria algo parecido com o scripts/generate_spiders.py e o scripts/spider_template.py.

[dsambugaro]

Update: com base no .csv fornecido, criamos um novo .csv no formato que o template aceita, para gerar os spiders.
Removemos da lista as cidades que já possuiam spiders. O .csv adaptado se encontra ao fim deste comentário.
Geramos os apiders utilizando o DospGazetteSpider como base, mesmo utilizado no spider que @danielbom criou de Guaraçaí, SP.
Testamos todos os spiders gerados, apenas o spider de Adolfo, SP funcionou. Será realizado um PR com este spider.
É necessário verificar que as outras URLs apresentam algum padrão que não identificamos e criar um novo spider base para elas, ou criar spiders individuais caso não apresentem algum padrão.

url,city,state,territory_id,start_day,start_month,start_year,base_class,code
https://imprensaoficialmunicipal.com.br/,itapagipe,mg,3133402,12,3,2021,DospGazetteSpider,1918
https://imprensaoficialmunicipal.com.br/,matozinhos,mg,3141108,2,4,2020,DospGazetteSpider,2016
https://imprensaoficialmunicipal.com.br/,monsenhor_paulo,mg,3142601,12,4,2017,DospGazetteSpider,2032
https://imprensaoficialmunicipal.com.br/,aracoiaba,pe,2601052,18,7,2017,DospGazetteSpider,3170
https://imprensaoficialmunicipal.com.br/,cabrobo,pe,2603009,12,4,2019,DospGazetteSpider,3190
https://imprensaoficialmunicipal.com.br/,cabrobo_legislativo,pe,,12,4,2019,DospGazetteSpider,5516
https://imprensaoficialmunicipal.com.br/,paulista,pe,2510907,24,6,2020,DospGazetteSpider,3281
https://imprensaoficialmunicipal.com.br/,cafezal_do_sul,pr,4103479,14,4,2016,DospGazetteSpider,2808
https://imprensaoficialmunicipal.com.br/,marau,rs,4311809,17,10,2017,DospGazetteSpider,4049
https://imprensaoficialmunicipal.com.br/,tres_arroios,rs,4321634,26,4,2017,DospGazetteSpider,4247
https://imprensaoficialmunicipal.com.br/,adolfo,sp,3500204,22,5,2015,DospGazetteSpider,4650
https://imprensaoficialmunicipal.com.br/,aguas_da_prata,sp,3500402,24,8,2018,DospGazetteSpider,4652
https://imprensaoficialmunicipal.com.br/,aguas_de_lindoia,sp,3500501,31,1,2020,DospGazetteSpider,4653
https://imprensaoficialmunicipal.com.br/,agudos,sp,3500709,29,6,2017,DospGazetteSpider,4656
https://imprensaoficialmunicipal.com.br/,altinopolis,sp,3501004,6,9,2017,DospGazetteSpider,4660
https://imprensaoficialmunicipal.com.br/,alvares_florence,sp,3501202,22,3,2013,DospGazetteSpider,4663
https://imprensaoficialmunicipal.com.br/,alvaro_de_carvalho,sp,3501400,10,4,2018,DospGazetteSpider,4665
https://imprensaoficialmunicipal.com.br/,americo_de_campos,sp,3501806,30,6,2014,DospGazetteSpider,4669
https://imprensaoficialmunicipal.com.br/,amparo,sp,2500734,18,10,2019,DospGazetteSpider,4670
https://imprensaoficialmunicipal.com.br/,aracatuba,sp,3502804,24,4,2020,DospGazetteSpider,4680
https://imprensaoficialmunicipal.com.br/,arealva,sp,3503406,9,10,2017,DospGazetteSpider,4688
https://imprensaoficialmunicipal.com.br/,avai,sp,3504305,18,9,2017,DospGazetteSpider,4698
https://imprensaoficialmunicipal.com.br/,avare,sp,3504503,5,10,2018,DospGazetteSpider,4700
https://imprensaoficialmunicipal.com.br/,balbinos,sp,3504701,22,2,2018,DospGazetteSpider,4702
https://imprensaoficialmunicipal.com.br/,balsamo,sp,3504800,23,2,2017,DospGazetteSpider,4703
https://imprensaoficialmunicipal.com.br/,bariri,sp,3505203,14,12,2017,DospGazetteSpider,4707
https://imprensaoficialmunicipal.com.br/,barra_bonita,sp,3505302,20,5,2021,DospGazetteSpider,4708
https://imprensaoficialmunicipal.com.br/,bento_de_abreu,sp,3506201,24,6,2016,DospGazetteSpider,4718
https://imprensaoficialmunicipal.com.br/,bocaina,sp,3506805,23,7,2018,DospGazetteSpider,4725
https://imprensaoficialmunicipal.com.br/,boraceia,sp,3507308,15,2,2018,DospGazetteSpider,4731
https://imprensaoficialmunicipal.com.br/,borborema,sp,2502706,10,5,2016,DospGazetteSpider,4732
https://imprensaoficialmunicipal.com.br/,braganca_paulista,sp,3507605,11,1,2019,DospGazetteSpider,4735
https://imprensaoficialmunicipal.com.br/,brodowski,sp,3507803,15,8,2017,DospGazetteSpider,4738
https://imprensaoficialmunicipal.com.br/,buritama,sp,3508108,24,10,2019,DospGazetteSpider,4741
https://imprensaoficialmunicipal.com.br/,cafelandia,sp,3508801,23,6,2017,DospGazetteSpider,4748
https://imprensaoficialmunicipal.com.br/,caiabu,sp,3508900,27,11,2018,DospGazetteSpider,4749
https://imprensaoficialmunicipal.com.br/,cajobi,sp,3509304,17,6,2013,DospGazetteSpider,4754
https://imprensaoficialmunicipal.com.br/,canitar,sp,3510153,10,10,2018,DospGazetteSpider,4765
https://imprensaoficialmunicipal.com.br/,capela_do_alto,sp,3510302,5,10,2018,DospGazetteSpider,4767
https://imprensaoficialmunicipal.com.br/,cardoso,sp,3510708,11,5,2019,DospGazetteSpider,4771
https://imprensaoficialmunicipal.com.br/,castilho,sp,3511003,24,7,2018,DospGazetteSpider,4774
https://imprensaoficialmunicipal.com.br/,catigua,sp,3511201,16,4,2021,DospGazetteSpider,4776
https://imprensaoficialmunicipal.com.br/,cioeste,sp,,13,11,2019,DospGazetteSpider,5509
https://imprensaoficialmunicipal.com.br/,colombia,sp,3512100,12,1,2017,DospGazetteSpider,4785
https://imprensaoficialmunicipal.com.br/,coroados,sp,3512506,28,2,2018,DospGazetteSpider,4789
https://imprensaoficialmunicipal.com.br/,cosmorama,sp,3512902,9,4,2015,DospGazetteSpider,4793
https://imprensaoficialmunicipal.com.br/,cruzalia,sp,3513306,19,3,2019,DospGazetteSpider,4797
https://imprensaoficialmunicipal.com.br/,dirce_reis,sp,3513850,11,4,2019,DospGazetteSpider,4803
https://imprensaoficialmunicipal.com.br/,dobrada,sp,3514007,10,6,2016,DospGazetteSpider,4805
https://imprensaoficialmunicipal.com.br/,dolcinopolis,sp,3514205,25,1,2018,DospGazetteSpider,4807
https://imprensaoficialmunicipal.com.br/,dourado,sp,3514304,23,10,2017,DospGazetteSpider,4808
https://imprensaoficialmunicipal.com.br/,elias_fausto,sp,3514908,16,2,2018,DospGazetteSpider,4814
https://imprensaoficialmunicipal.com.br/,elisiario,sp,3514924,22,3,2019,DospGazetteSpider,4815
https://imprensaoficialmunicipal.com.br/,embauba,sp,3514957,11,6,2021,DospGazetteSpider,4816
https://imprensaoficialmunicipal.com.br/,estrela_d_oeste,sp,,31,1,2018,DospGazetteSpider,4824
https://imprensaoficialmunicipal.com.br/,euclides_da_cunha_paulista,sp,3515350,30,10,2018,DospGazetteSpider,4826
https://imprensaoficialmunicipal.com.br/,fernando_prestes,sp,3515608,25,10,2013,DospGazetteSpider,4828
https://imprensaoficialmunicipal.com.br/,fernao,sp,3515657,1,2,2018,DospGazetteSpider,4830
https://imprensaoficialmunicipal.com.br/,florinea,sp,,1,11,2017,DospGazetteSpider,4834
https://imprensaoficialmunicipal.com.br/,gabriel_monteiro,sp,3516507,15,8,2018,DospGazetteSpider,4839
https://imprensaoficialmunicipal.com.br/,galia,sp,3516606,8,3,2018,DospGazetteSpider,4840
https://imprensaoficialmunicipal.com.br/,garca,sp,3516705,28,8,2014,DospGazetteSpider,4841
https://imprensaoficialmunicipal.com.br/,getulina,sp,3517000,7,1,2016,DospGazetteSpider,4845
https://imprensaoficialmunicipal.com.br/,guaicara,sp,3517208,27,12,2017,DospGazetteSpider,4847
https://imprensaoficialmunicipal.com.br/,guaimbe,sp,3517307,16,9,2015,DospGazetteSpider,4848
https://imprensaoficialmunicipal.com.br/,guapiacu,sp,3517505,13,12,2018,DospGazetteSpider,4850
https://imprensaoficialmunicipal.com.br/,guara,sp,3517703,8,1,2015,DospGazetteSpider,4852
https://imprensaoficialmunicipal.com.br/,guaracai,sp,3517802,2,10,2018,DospGazetteSpider,4853
https://imprensaoficialmunicipal.com.br/,guarani_d_oeste,sp,,18,4,2019,DospGazetteSpider,4855
https://imprensaoficialmunicipal.com.br/,guaranta,sp,3518107,23,1,2017,DospGazetteSpider,4856
https://imprensaoficialmunicipal.com.br/,guararapes,sp,3518206,21,10,2016,DospGazetteSpider,4857
https://imprensaoficialmunicipal.com.br/,guarei,sp,3518503,8,2,2019,DospGazetteSpider,4860
https://imprensaoficialmunicipal.com.br/,guariba,sp,3518602,7,7,2018,DospGazetteSpider,4861
https://imprensaoficialmunicipal.com.br/,herculandia,sp,3519006,5,2,2020,DospGazetteSpider,4866
https://imprensaoficialmunicipal.com.br/,holambra,sp,3519055,5,5,2017,DospGazetteSpider,4867
https://imprensaoficialmunicipal.com.br/,iacanga,sp,3519105,24,4,2017,DospGazetteSpider,4869
https://imprensaoficialmunicipal.com.br/,icem,sp,3519808,4,6,2018,DospGazetteSpider,4877
https://imprensaoficialmunicipal.com.br/,iepe,sp,3519907,22,10,2019,DospGazetteSpider,4878
https://imprensaoficialmunicipal.com.br/,igarapava,sp,3520103,10,10,2019,DospGazetteSpider,4880
https://imprensaoficialmunicipal.com.br/,indiapora,sp,3520707,31,12,2015,DospGazetteSpider,4888
https://imprensaoficialmunicipal.com.br/,ipeuna,sp,3521101,15,10,2019,DospGazetteSpider,4892
https://imprensaoficialmunicipal.com.br/,ipua,sp,3521309,13,12,2019,DospGazetteSpider,4895
https://imprensaoficialmunicipal.com.br/,irapua,sp,3521507,1,7,2021,DospGazetteSpider,4897
https://imprensaoficialmunicipal.com.br/,itabera,sp,3521705,24,10,2018,DospGazetteSpider,4899
https://imprensaoficialmunicipal.com.br/,itajobi,sp,3521903,22,6,2018,DospGazetteSpider,4901
https://imprensaoficialmunicipal.com.br/,itaju,sp,3522000,25,7,2018,DospGazetteSpider,4902
https://imprensaoficialmunicipal.com.br/,itapeva,sp,3522406,22,12,2017,DospGazetteSpider,4907
https://imprensaoficialmunicipal.com.br/,itapevi,sp,3522505,21,12,2018,DospGazetteSpider,4908
https://imprensaoficialmunicipal.com.br/,itapira,sp,3522604,16,9,2011,DospGazetteSpider,4909
https://imprensaoficialmunicipal.com.br/,itapura,sp,3523008,21,7,2018,DospGazetteSpider,4914
https://imprensaoficialmunicipal.com.br/,itarare,sp,3523206,6,4,2018,DospGazetteSpider,4916
https://imprensaoficialmunicipal.com.br/,itirapina,sp,3523602,13,2,2019,DospGazetteSpider,4920
https://imprensaoficialmunicipal.com.br/,itirapina_legislativo,sp,,19,5,2021,DospGazetteSpider,5515
https://imprensaoficialmunicipal.com.br/,itu,sp,3523909,30,8,2019,DospGazetteSpider,4923
https://imprensaoficialmunicipal.com.br/,itupeva,sp,3524006,24,9,2019,DospGazetteSpider,4924
https://imprensaoficialmunicipal.com.br/,itupeva_legislativo,sp,,24,9,2019,DospGazetteSpider,5511
https://imprensaoficialmunicipal.com.br/,jaborandi,sp,2917359,27,9,2017,DospGazetteSpider,4926
https://imprensaoficialmunicipal.com.br/,jaci,sp,3524501,24,10,2017,DospGazetteSpider,4929
https://imprensaoficialmunicipal.com.br/,jaguariuna,sp,3524709,8,3,2019,DospGazetteSpider,4931
https://imprensaoficialmunicipal.com.br/,jales,sp,3524808,16,8,2017,DospGazetteSpider,4932
https://imprensaoficialmunicipal.com.br/,jardinopolis,sp,3525102,16,3,2020,DospGazetteSpider,4935
https://imprensaoficialmunicipal.com.br/,joao_ramalho,sp,3525607,27,3,2020,DospGazetteSpider,4940
https://imprensaoficialmunicipal.com.br/,jose_bonifacio,sp,3525706,1,10,2014,DospGazetteSpider,4941
https://imprensaoficialmunicipal.com.br/,julio_mesquita,sp,3525805,12,3,2018,DospGazetteSpider,4942
https://imprensaoficialmunicipal.com.br/,jumirim,sp,3525854,5,1,2018,DospGazetteSpider,4943
https://imprensaoficialmunicipal.com.br/,laranjal_paulista,sp,3526407,25,3,2021,DospGazetteSpider,4949
https://imprensaoficialmunicipal.com.br/,lindoia,sp,3527009,4,2,2020,DospGazetteSpider,4955
https://imprensaoficialmunicipal.com.br/,lindoia_legislativo,sp,,4,2,2020,DospGazetteSpider,5512
https://imprensaoficialmunicipal.com.br/,lins,sp,3527108,26,12,2017,DospGazetteSpider,4956
https://imprensaoficialmunicipal.com.br/,lourdes,sp,3527256,28,9,2017,DospGazetteSpider,4958
https://imprensaoficialmunicipal.com.br/,louveira,sp,3527306,16,5,2019,DospGazetteSpider,4959
https://imprensaoficialmunicipal.com.br/,lupercio,sp,3527801,17,7,2017,DospGazetteSpider,4964
https://imprensaoficialmunicipal.com.br/,lutecia,sp,3527900,1,8,2018,DospGazetteSpider,4965
https://imprensaoficialmunicipal.com.br/,magda,sp,3528304,18,7,2018,DospGazetteSpider,4969
https://imprensaoficialmunicipal.com.br/,maraba_paulista,sp,3528700,14,12,2018,DospGazetteSpider,4973
https://imprensaoficialmunicipal.com.br/,maracai,sp,3528809,11,8,2017,DospGazetteSpider,4974
https://imprensaoficialmunicipal.com.br/,martinopolis,sp,3529203,11,7,2018,DospGazetteSpider,4979
https://imprensaoficialmunicipal.com.br/,meridiano,sp,3529609,29,10,2014,DospGazetteSpider,4983
https://imprensaoficialmunicipal.com.br/,mineiros_do_tiete,sp,3529807,12,1,2018,DospGazetteSpider,4986
https://imprensaoficialmunicipal.com.br/,mirassol,sp,3530300,5,3,2018,DospGazetteSpider,4991
https://imprensaoficialmunicipal.com.br/,mococa,sp,3530508,15,3,2018,DospGazetteSpider,4993
https://imprensaoficialmunicipal.com.br/,mongagua,sp,3531100,25,8,2017,DospGazetteSpider,4999
https://imprensaoficialmunicipal.com.br/,monte_aprazivel,sp,3531407,3,5,2017,DospGazetteSpider,5002
https://imprensaoficialmunicipal.com.br/,monte_azul_paulista,sp,3531506,6,11,2013,DospGazetteSpider,5003
https://imprensaoficialmunicipal.com.br/,monte_castelo,sp,3531605,9,5,2019,DospGazetteSpider,5004
https://imprensaoficialmunicipal.com.br/,monteiro_lobato,sp,3531704,26,11,2020,DospGazetteSpider,5006
https://imprensaoficialmunicipal.com.br/,morro_agudo,sp,3531902,24,1,2017,DospGazetteSpider,5007
https://imprensaoficialmunicipal.com.br/,morungaba,sp,3532009,17,8,2017,DospGazetteSpider,5008
https://imprensaoficialmunicipal.com.br/,murutinga_do_sul,sp,3532108,26,7,2018,DospGazetteSpider,5010
https://imprensaoficialmunicipal.com.br/,nantes,sp,3532157,18,4,2018,DospGazetteSpider,5011
https://imprensaoficialmunicipal.com.br/,nova_alianca,sp,3532801,29,1,2021,DospGazetteSpider,5018
https://imprensaoficialmunicipal.com.br/,nova_campina,sp,3532827,4,2,2021,DospGazetteSpider,5019
https://imprensaoficialmunicipal.com.br/,nova_europa,sp,3532900,14,1,2019,DospGazetteSpider,5022
https://imprensaoficialmunicipal.com.br/,nova_granada,sp,3533007,22,2,2018,DospGazetteSpider,5023
https://imprensaoficialmunicipal.com.br/,nova_guataporanga,sp,3533106,17,9,2019,DospGazetteSpider,5024
https://imprensaoficialmunicipal.com.br/,nova_independencia,sp,3533205,19,7,2021,DospGazetteSpider,5025
https://imprensaoficialmunicipal.com.br/,ocaucu,sp,3533700,24,9,2018,DospGazetteSpider,5031
https://imprensaoficialmunicipal.com.br/,olimpia,sp,3533908,29,6,2017,DospGazetteSpider,5033
https://imprensaoficialmunicipal.com.br/,orindiuva,sp,3534203,19,3,2015,DospGazetteSpider,5036
https://imprensaoficialmunicipal.com.br/,ouroeste,sp,3534757,5,5,2021,DospGazetteSpider,5043
https://imprensaoficialmunicipal.com.br/,paraiso,sp,4212239,28,9,2015,DospGazetteSpider,5052
https://imprensaoficialmunicipal.com.br/,pardinho,sp,3536109,1,8,2019,DospGazetteSpider,5056
https://imprensaoficialmunicipal.com.br/,parisi,sp,3536257,27,2,2015,DospGazetteSpider,5058
https://imprensaoficialmunicipal.com.br/,pauliceia,sp,3536406,25,3,2019,DospGazetteSpider,5060
https://imprensaoficialmunicipal.com.br/,paulo_de_faria,sp,3536604,9,5,2018,DospGazetteSpider,5063
https://imprensaoficialmunicipal.com.br/,pederneiras,sp,3536703,17,1,2018,DospGazetteSpider,5064
https://imprensaoficialmunicipal.com.br/,pedra_bela,sp,3536802,26,4,2018,DospGazetteSpider,5065
https://imprensaoficialmunicipal.com.br/,pereira_barreto,sp,3537404,2,4,2014,DospGazetteSpider,5072
https://imprensaoficialmunicipal.com.br/,piacatu,sp,3537701,28,9,2018,DospGazetteSpider,5075
https://imprensaoficialmunicipal.com.br/,pirajui,sp,3538907,2,5,2017,DospGazetteSpider,5086
https://imprensaoficialmunicipal.com.br/,pirangi,sp,3539004,21,9,2015,DospGazetteSpider,5087
https://imprensaoficialmunicipal.com.br/,pirapozinho,sp,3539202,6,3,2021,DospGazetteSpider,5089
https://imprensaoficialmunicipal.com.br/,pitangueiras,sp,3539509,6,10,2017,DospGazetteSpider,5092
https://imprensaoficialmunicipal.com.br/,poloni,sp,3539905,30,1,2020,DospGazetteSpider,5096
https://imprensaoficialmunicipal.com.br/,pongai,sp,3540101,7,8,2018,DospGazetteSpider,5098
https://imprensaoficialmunicipal.com.br/,presidente_venceslau,sp,3541505,8,3,2021,DospGazetteSpider,5116
https://imprensaoficialmunicipal.com.br/,promissao,sp,3541604,7,8,2015,DospGazetteSpider,5117
https://imprensaoficialmunicipal.com.br/,quata,sp,3541703,15,12,2017,DospGazetteSpider,5119
https://imprensaoficialmunicipal.com.br/,regente_feijo,sp,3542404,31,10,2018,DospGazetteSpider,5126
https://imprensaoficialmunicipal.com.br/,reginopolis,sp,3542503,9,2,2018,DospGazetteSpider,5127
https://imprensaoficialmunicipal.com.br/,ribeirao_bonito,sp,3542909,28,6,2016,DospGazetteSpider,5131
https://imprensaoficialmunicipal.com.br/,rio_das_pedras,sp,3544004,11,10,2017,DospGazetteSpider,5143
https://imprensaoficialmunicipal.com.br/,riolandia,sp,3544202,14,5,2014,DospGazetteSpider,5145
https://imprensaoficialmunicipal.com.br/,rosana,sp,3544251,4,5,2019,DospGazetteSpider,5147
https://imprensaoficialmunicipal.com.br/,rubiacea,sp,3544400,13,9,2017,DospGazetteSpider,5149
https://imprensaoficialmunicipal.com.br/,rubineia,sp,3544509,2,7,2019,DospGazetteSpider,5150
https://imprensaoficialmunicipal.com.br/,sabino,sp,3544608,31,1,2018,DospGazetteSpider,5151
https://imprensaoficialmunicipal.com.br/,sales,sp,3544806,22,12,2017,DospGazetteSpider,5153
https://imprensaoficialmunicipal.com.br/,saltinho,sp,3545159,5,6,2019,DospGazetteSpider,5157
https://imprensaoficialmunicipal.com.br/,salto,sp,3545209,1,2,2018,DospGazetteSpider,5158
https://imprensaoficialmunicipal.com.br/,santa_clara_d_oeste,sp,,16,6,2021,DospGazetteSpider,5166
https://imprensaoficialmunicipal.com.br/,santa_cruz_da_conceicao,sp,3546207,1,11,2016,DospGazetteSpider,5167
https://imprensaoficialmunicipal.com.br/,santa_mercedes,sp,3547106,1,3,2019,DospGazetteSpider,5177
https://imprensaoficialmunicipal.com.br/,santa_rita_do_passa_quatro,sp,3547502,22,1,2018,DospGazetteSpider,5179
https://imprensaoficialmunicipal.com.br/,santa_rita_d_oeste,sp,,7,5,2021,DospGazetteSpider,5178
https://imprensaoficialmunicipal.com.br/,santo_anastacio,sp,3547700,25,9,2020,DospGazetteSpider,5184
https://imprensaoficialmunicipal.com.br/,santo_antonio_de_posse,sp,3548005,14,8,2018,DospGazetteSpider,5187
https://imprensaoficialmunicipal.com.br/,santopolis_do_aguapei,sp,3548401,1,7,2014,DospGazetteSpider,5192
https://imprensaoficialmunicipal.com.br/,santopolis_do_aguapei_legislativo,sp,,16,9,2020,DospGazetteSpider,5513
https://imprensaoficialmunicipal.com.br/,sao_bento_do_sapucai,sp,3548609,13,4,2021,DospGazetteSpider,5194
https://imprensaoficialmunicipal.com.br/,sao_bernardo_do_campo,sp,3548708,2,6,2017,DospGazetteSpider,5195
https://imprensaoficialmunicipal.com.br/,sao_joaquim_da_barra,sp,3549409,26,5,2017,DospGazetteSpider,5203
https://imprensaoficialmunicipal.com.br/,sao_jose_do_rio_pardo,sp,3549706,7,11,2018,DospGazetteSpider,5206
https://imprensaoficialmunicipal.com.br/,severinia,sp,3551900,7,3,2017,DospGazetteSpider,5229
https://imprensaoficialmunicipal.com.br/,suzanapolis,sp,3552551,4,10,2018,DospGazetteSpider,5235
https://imprensaoficialmunicipal.com.br/,tabapua,sp,3552601,19,6,2018,DospGazetteSpider,5237
https://imprensaoficialmunicipal.com.br/,taciba,sp,3552908,18,7,2018,DospGazetteSpider,5240
https://imprensaoficialmunicipal.com.br/,taiuva,sp,3553203,8,1,2018,DospGazetteSpider,5243
https://imprensaoficialmunicipal.com.br/,tanabi,sp,3553401,17,6,2019,DospGazetteSpider,5245
https://imprensaoficialmunicipal.com.br/,taquaritinga,sp,3553708,14,1,2016,DospGazetteSpider,5249
https://imprensaoficialmunicipal.com.br/,taquarivai,sp,3553856,30,1,2019,DospGazetteSpider,5251
https://imprensaoficialmunicipal.com.br/,tarabai,sp,3553906,9,4,2018,DospGazetteSpider,5252
https://imprensaoficialmunicipal.com.br/,teodoro_sampaio,sp,3554300,30,8,2018,DospGazetteSpider,5257
https://imprensaoficialmunicipal.com.br/,teodoro_sampaio_legislativo,sp,,30,8,2018,DospGazetteSpider,5514
https://imprensaoficialmunicipal.com.br/,torrinha,sp,3554706,2,6,2021,DospGazetteSpider,5262
https://imprensaoficialmunicipal.com.br/,tremembe,sp,3554805,11,5,2016,DospGazetteSpider,5264
https://imprensaoficialmunicipal.com.br/,tuiuti,sp,3554953,7,11,2014,DospGazetteSpider,5266
https://imprensaoficialmunicipal.com.br/,turmalina,sp,3169703,16,1,2018,DospGazetteSpider,5270
https://imprensaoficialmunicipal.com.br/,ubirajara,sp,3555505,13,4,2018,DospGazetteSpider,5273
https://imprensaoficialmunicipal.com.br/,urania,sp,3555802,14,1,2020,DospGazetteSpider,5276
https://imprensaoficialmunicipal.com.br/,uru,sp,3555901,7,8,2018,DospGazetteSpider,5277
https://imprensaoficialmunicipal.com.br/,urupes,sp,3556008,15,7,2021,DospGazetteSpider,5278
https://imprensaoficialmunicipal.com.br/,valentim_gentil,sp,3556107,5,11,2015,DospGazetteSpider,5279
https://imprensaoficialmunicipal.com.br/,vargem,sp,4219150,13,2,2020,DospGazetteSpider,5282
https://imprensaoficialmunicipal.com.br/,vargem_grande_do_sul,sp,3556404,13,9,2018,DospGazetteSpider,5283
https://imprensaoficialmunicipal.com.br/,vargem_grande_paulista,sp,3556453,7,6,2019,DospGazetteSpider,5284
https://imprensaoficialmunicipal.com.br/,viradouro,sp,3556800,5,6,2013,DospGazetteSpider,5288
https://imprensaoficialmunicipal.com.br/,vitoria_brasil,sp,3556958,19,2,2019,DospGazetteSpider,5290
https://imprensaoficialmunicipal.com.br/,votuporanga,sp,3557105,6,10,2015,DospGazetteSpider,5292
https://imprensaoficialmunicipal.com.br/,zacarias,sp,3557154,5,10,2018,DospGazetteSpider,5293
https://imprensaoficialmunicipal.com.br/,filadelfia,to,2910859,7,1,2021,DospGazetteSpider,5421
https://imprensaoficialmunicipal.com.br/,riachinho,to,3154457,18,2,2021,DospGazetteSpider,5478
https://imprensaoficialmunicipal.com.br/,modelandia,mo,,3,11,2019,DospGazetteSpider,5508
https://imprensaoficialmunicipal.com.br/,modelandia_legislativo,mo,,3,11,2019,DospGazetteSpider,5510

[trevineju]

A partir de #919, estamos automatizando o mapeamento de sistemas. Fecho esta issue, uma vez que os esforços estão concentrados lá.