Cria worker para converter arquivos PDF para TXT

[zoedsoupe]

Descrição

Esta PR implementa a segunda parte do script de importação de cotações de pescado do site da Pesagro. Nesta parte do fluxo, um novo worker foi implementado, para vasculhar a tabela cotacao em busca de cotações (links) que ainda não foram baixadas.

Após baixar cada arquivo, uma verificação deve ser feita, pois alguns links da Pesagro são um conjunto de PDFs num arquivo zip, que devem ser extraídos.

Com todos os PDFs extraídos, deve-se então fazer upload na API da Zamzar de cada um dos PDFs extraídos, os convertendo para TXT. Não podemos ultrapassar o rate limit da API deles (5 requests por segundo).

Tendo o arquivo convertido, é preciso baixá-lo para que o último worker possa ser iniciado para fazer a ingestão (parsing) dos dados de cada pescado.

O script original pode ser encontrado no repositório cotacoes-api: https://github.com/peapescarte/cotacao-api/blob/feat-etl-module/etl/crawler.py

Pontos para atenção

• O worker de conversão deve seguir o seguinte fluxo:
  1. Buscar cotacoes no banco que ainda não foram baixadas
  2. Baixar cada cotação, no site da Pesagro
  3. Caso uma cotação seja um arquivo zip, extrair todos os PDFs contidos no arquivo
  4. Fazer upload de cada PDF para a API da Zamzar, para conversão em TXT de cada um, respeitando o rate limit deles (no máximo 5 requests por segundo)
  5. Baixar o arquivo convertido da Zamzar, caso já esteja pronto ou agendar uma nova consulta na API deles

Possui novas configurações?

• Configurações internas para o uso correto da lib mox
• Variável de ambiente FETCH_PESAGRO_COTACOES, um booleano para controlar se os workers devem ser iniciados com a aplicação ou não

Possui migrations?

N/A

[Cyytrus]

Eu curti bastante as abordagens utilizadas, mas tenho 1 ponto, que foi o mesmo que levantei no twitter:

Não acho mta lógica em utilizar uma API para converter PDF para txt, existem formas gratuitas bem mais rapidas para isso, como ghostscript, é possível instalá-lo no docker da aplicação e utilizá-lo sem problemas, uma vez que tenha os PDFs baixados basta você rodar o comando do link acima com um System.cmd() que rapidinho um txt é baixado onde vc especificar, sem rate limit.

Com isso, fica até mais fácil de testar com os asserts e tals 😃

Caso tenha dificuldades, podemos marcar um pair para fazer essa implementação <3

[zoedsoupe]

@Cyytrus Primeiramente, muito obrigada pelo comentário! Você realmente me salvou! Eu fiquei procurando e pesquisando formas de converter um PDF pra TXT e não achei nada sobre ghostscript. Como são muitos arquivos, vou extrair essa lógica pra um outro worker, porque esse Converter ficou muito grande.