Tenta baixar arquivo mesmo quando botão de edital não existe

[anapaulagomes]

Erro: NotSupported: Unsupported URL scheme 'tel': no handler available for that scheme

Esse erro acontece quando um telefone é colocado como um <a> e o spider entende que é um arquivo (o código assume que os links no texto serão o edital). Para evitar esse erro, podemos: 1) verificar se é uma URL válida; 2) verificar se a imagem com o título "Baixar Edital" está presente.

Spider: cityhall_bids (licitações)

maria-quiteria/scraper/scraper/spiders/cityhall.py

Line 79 in dc10948

document_url = raw_description.xpath(".//@href").extract_first()

Botão esperado:

Exemplo: LICITAÇÃO Nº002-2020 PREGÃO ELETRÔNICO Nº001-2020 – FHFS.
http://www.feiradesantana.ba.gov.br/seadm/licitacoes_pm.asp?cat=FHFS&dt=02-2020#links

[anapaulagomes]

Esse bug não causa nenhum dano aos dados, apenas lança um erro nos logs. Seria interessante saber se todas as licitações devem ter um edital linkado às entradas no site ou não. A partir daí decidimos de continuamos lançando um erro ou mudamos pra um warning.

[anapaulagomes]

@rislamiranda 💪