Skip to content
This repository has been archived by the owner on Oct 2, 2023. It is now read-only.

Monitorar execução dos spiders #12

Closed
anapaulagomes opened this issue Dec 6, 2019 · 1 comment
Closed

Monitorar execução dos spiders #12

anapaulagomes opened this issue Dec 6, 2019 · 1 comment
Labels
monitoramento
Projects
MVP - Coleta diária

Comments

@anapaulagomes
Copy link
Contributor

anapaulagomes commented Dec 6, 2019 •
edited
Loading

Algumas ideias:

  • Utilizar monitors do spidermon (Add notificação de erros no Telegram #42) ✔️
  • Criar uma página de status com Scrapy stats 🔜
  • Enviar um email com um relatório da execução dos spiders (e estatísticas do spidermon)
  • Utilizar Sentry ✔️
@anapaulagomes anapaulagomes mentioned this issue Dec 30, 2019
Merged
@anapaulagomes anapaulagomes moved this from To do to In progress in MVP - Coleta diária Dec 30, 2019
@anapaulagomes anapaulagomes mentioned this issue Jan 30, 2020
Merged
@anapaulagomes
Copy link
Contributor Author

Erros são avisados em um canal do Telegram, exceções capturadas pelo Sentry e logs disponíveis no Logentries.
No Telegram já temos informação se o spider foi executado com sucesso ou não e o número de erros. O ideal é melhorar a experiência informando tempo de duração e o número de itens coletados. Dado que a prioridade é ter o portal funcionando, essas melhorias serão implementadas em um segundo momento.

MVP - Coleta diária automation moved this from In progress to Done Feb 1, 2020
Sign up for free to subscribe to this conversation on GitHub. Already have an account? Sign in.
Assignees
No one assigned
Labels
monitoramento
Projects
No open projects
MVP - Coleta diária
  
Done
Milestone
No milestone
Development

No branches or pull requests
1 participant
@anapaulagomes