[bug] Raspadores não mais fazendo coletas em produção

[trevineju]

Após #925 e #926, os raspadores em produção pararam de funcionar, o que só foi percebido quando as cidades de #927 foram entrar. Usando umas das cidades de exemplo, Prado-BA, tivemos os seguintes erros na Zyte:

• problema com biblioteca pkg_resources:

2023-09-12 14:17:21    ERROR    /usr/local/sbin/start-crawl:8: DeprecationWarning: pkg_resources is deprecated as an API. See https://setuptools.pypa.io/en/latest/pkg_resources.html Less
  import pkg_resources

• Abandona coleta de itens por conta de validação. Foram vários itens abandonados, apenas um ilustrado abaixo.

2023-09-12 01:18:02    WARNING    [scrapy.core.scraper] Dropped: Validation failed! More

As vezes é comum isso acontecer, porém no #927 deixei logs das coletas locais que fiz e nenhum item era abandonado nesses testes.

• Entra numa recursão sem fim, o que topa memória das máquinas da Zyte e aí cessa a execução.

71:    2023-09-12 01:18:37    CRITICAL    [twisted] Less
[...]
  File "/app/python/lib/python3.11/site-packages/botocore/awsrequest.py", line 389, in _prepare_headers
    headers = HeadersDict(original.headers.items())
  File "/app/python/lib/python3.11/site-packages/botocore/awsrequest.py", line 614, in init
    self.update(*args, **kwargs)
  File "", line 947, in update
  File "", line 119, in instancecheck
RecursionError: maximum recursion depth exceeded in comparison

Fazendo downgrade do Spidermon[monitoring], foi percebido que o problema começa na versão 17.0.1, enquanto na 17.0.0 executa corretamente.

Logs:
17.0.0:
ba_prado-downgrade-17.csv
ba_prado-downgrade-17.txt

17.1.0:
ba_prado-downgrade-17-1.csv
ba_prado-downgrade-17-1.txt