Fluxo do Crawler

Fluxo do Crawler

O crawler atual roda pelo GitHub Actions em .github/workflows/scraper-release.yml.

Fluxo resumido

1. Resolver variaveis do environment Crawler.
2. Criar o .env temporario do scraper.
3. Construir a imagem Docker.
4. Restaurar o pacote completo do OneDrive quando configurado.
5. Se o OneDrive nao estiver disponivel, restaurar o banco cotacoes.sqlite.xz da release latest-data.
6. Executar docker compose run --rm tudo.
7. Compactar e salvar o pacote completo no OneDrive, quando configurado.
8. Compactar e publicar somente o banco SQLite na release fixa do GitHub.
9. Registrar as etapas no ultimo relatorio.
10. Enviar relatorio por e-mail quando configurado.

Paginas relacionadas

• Comandos de Operacao
• Pacotes e Backups
• Ambiente e Configuracao
• Diagnostico do Crawler