You signed in with another tab or window. Reload to refresh your session.You signed out in another tab or window. Reload to refresh your session.You switched accounts on another tab or window. Reload to refresh your session.Dismiss alert
Após #925 e #926, os raspadores em produção pararam de funcionar, o que só foi percebido quando as cidades de #927 foram entrar. Usando umas das cidades de exemplo, Prado-BA, tivemos os seguintes erros na Zyte:
Abandona coleta de itens por conta de validação. Foram vários itens abandonados, apenas um ilustrado abaixo.
2023-09-12 01:18:02 WARNING [scrapy.core.scraper] Dropped: Validation failed! More
As vezes é comum isso acontecer, porém no #927 deixei logs das coletas locais que fiz e nenhum item era abandonado nesses testes.
Entra numa recursão sem fim, o que topa memória das máquinas da Zyte e aí cessa a execução.
71: 2023-09-12 01:18:37 CRITICAL [twisted] Less
[...]
File "/app/python/lib/python3.11/site-packages/botocore/awsrequest.py", line 389, in _prepare_headers
headers = HeadersDict(original.headers.items())
File "/app/python/lib/python3.11/site-packages/botocore/awsrequest.py", line 614, in init
self.update(*args, **kwargs)
File "", line 947, in update
File "", line 119, in instancecheck
RecursionError: maximum recursion depth exceeded in comparison
Fazendo downgrade do Spidermon[monitoring], foi percebido que o problema começa na versão 17.0.1, enquanto na 17.0.0 executa corretamente.
Após #925 e #926, os raspadores em produção pararam de funcionar, o que só foi percebido quando as cidades de #927 foram entrar. Usando umas das cidades de exemplo, Prado-BA, tivemos os seguintes erros na Zyte:
As vezes é comum isso acontecer, porém no #927 deixei logs das coletas locais que fiz e nenhum item era abandonado nesses testes.
Fazendo downgrade do Spidermon[monitoring], foi percebido que o problema começa na versão 17.0.1, enquanto na 17.0.0 executa corretamente.
Logs:
17.0.0:
ba_prado-downgrade-17.csv
ba_prado-downgrade-17.txt
17.1.0:
ba_prado-downgrade-17-1.csv
ba_prado-downgrade-17-1.txt
The text was updated successfully, but these errors were encountered: