Portal da transparência - São Paulo/SP

[brunolellis]

A cidade de São Paulo disponibiliza os dados de compras e licitações no Portal da Transparência nos formatos csv, xls e ods desde 2005.
Link: http://transparencia.prefeitura.sp.gov.br/contas/Paginas/ComprasLicitacoes.aspx

Estou criando esta issue apenas para documentar e avaliar qual seria a melhor opção para armazenar um dado mais estruturado (comparando com os pdfs das demais cidades).

[Irio]

@brunolellis Esses arquivos apresentam as mesmas informações que o Diário Oficial? É atualizado com a mesma frequência?

[brunolellis]

@Irio, olhando com mais detalhes, tenho a impressão que todas as licitações estão descritas no arquivo csv.
Não consegui descobrir a periodicidade de divulgação. Pelo nome do arquivo, creio que seja mensal: Extrato de Contrato - Janeiro_2016 a Março_2018.csv

Obs: não trabalho nessa área de órgãos públicos e nem tenho experiência nesta área, portanto posso estar completamente errado nas considerações.

[brunolellis]

O download do pdf de cada DO pode ser bem mais trabalhoso, pois não existe (não encontrei) um pdf contendo todas as páginas do DO.

O que existe é 1 arquivo pdf para cada página do DO daquele dia. Ou seja, no dia 20/4/2018, o DO possui 142 páginas e, portanto, 142 pdfs. 😮

[w1pereira]

Complementando a informação sobre o download do PDF ser restrito por página, encontrei um padrão na publicação dos arquivos, o que pode ajudar na coleta. Este padrão foi encontrado somente nos DO's publicados a partir de 30/01/2018.

ex.: diário oficial (cidade) do dia 27/04/2018

http://diariooficial.imprensaoficial.com.br/doflash/prototipo/ 2018 / Abril / 27 / cidade / pdf / pg_0001.pdf
http://diariooficial.imprensaoficial.com.br/doflash/prototipo/2018/Abril/27/cidade/pdf/pg_0002.pdf
http://diariooficial.imprensaoficial.com.br/doflash/prototipo/2018/Abril/27/cidade/pdf/pg_0003.pdf
...

Já o número de páginas pode ser coletado nesta página (pode ser que tenha em outra página da Imprensa Oficial, mas não encontrei):

http://diariooficial.imprensaoficial.com.br/nav_v4/index.asp?c=1&e= 20180427 &p=1

[alfakini]

@Irio Você acha que é uma boa abordagem seguirmos pegando o diário oficial mas concatenar todas as páginas em um único PDF?

[JaTvoiRabotnik]

@williamcspereira , esse formato funcionava ano passado tambem. O fato que so da pra pegar diarios desse ano me faz concluir que a imprensa oficial anda deletando os PDFs.

[cuducos]

Você acha que é uma boa abordagem seguirmos pegando o diário oficial mas concatenar todas as páginas em um único PDF?

Acho válido, @alfakini. Mas não necessário. Como uma Gazette (item do Scrapy) aceita uma lista de arquivos, acho que podemos guardar os originais (1 PDF por página) e só fazer o merge no processamento do pdftotext (quando transformamos PDF em texto puro).

[nfraprado]

I was surprised to see that São Paulo still didn't have a spider done. Is someone already working on that or is it free for grabs?

The census already has this Diário Oficial page mapped.

From what I understood from the discussion in this issue, there's also another page that shows a lot of information (although perhaps not all of it) already in the csv format. That said, accessing the page now, shows that its last update was on 2019, while the Diário Oficial one keeps being updated everyday, so it is my understanding that we still want to do a spider for the Diário Oficial page and parse the pdfs.

[ogecece]

English

@nfraprado go for it :)

About the other page, right now we are focusing strictly on Gazettes. Don't worry about that for now.

---

Português

@nfraprado pode pegar :)

Sobre a outra página, no momento estamos focando apenas em Diários Oficiais. Não se preocupe com ela por enquanto.

[jvanz]

Can we close this issue?

[jvanz]

Oh... I just noticed the #380. Closing this one.