Publicacao dos Dados

Publicacao dos Dados

O projeto publica dois tipos de artefato: um banco enxuto para consumo e um backup completo para continuidade operacional.

GitHub Release

A release fixa latest-data publica somente:

cotacoes.sqlite.xz

Esse arquivo contem o SQLite pronto para consumo. Ele nao inclui raws, cache de PDF, relatorios nem outros arquivos da pasta data/.

Use esse artefato quando o objetivo for consultar os dados consolidados.

OneDrive

Quando configurado, o OneDrive guarda o pacote completo:

ceasa-data-full-latest.tar.xz

Esse pacote inclui:

• raws HTML e PDF;
• cache de texto dos PDFs;
• relatorios;
• SQLite;
• demais arquivos gerados dentro de data/.

O workflow salva uma copia fixa em latest/ e uma copia historica em history/, com timestamp e GITHUB_RUN_ID.

Fluxo de publicacao

1. Restaurar o pacote completo do OneDrive quando disponivel.
2. Usar cotacoes.sqlite.xz da release como fallback.
3. Falhar antes do scraper se nenhum dado anterior for restaurado.
4. Executar docker compose run --rm tudo.
5. Compactar e enviar o pacote completo ao OneDrive, quando habilitado.
6. Compactar o SQLite em cotacoes.sqlite.xz.
7. Publicar o banco na release fixa latest-data.
8. Remover pacotes completos legados da release.
9. Registrar restauracao, salvamento e metricas no ultimo relatorio.

Consumo do banco

Para restaurar localmente o banco publicado:

docker compose run --rm --entrypoint python app scripts/cotacoes.py descompactar-banco --arquivo cotacoes.sqlite.xz

O comando valida o SQLite antes de substituir data/cotacoes.sqlite.

O que nao usar para consumo

• Nao use o pacote completo do OneDrive como artefato publico principal.
• Nao publique raws na release fixa.
• Nao crie novos artefatos .gz; gzip fica apenas como compatibilidade de restauracao legada.

Relacao com Supabase

O SQLite publicado na release e o artefato principal. A sincronizacao com Supabase existe, mas esta fora do fluxo operacional principal enquanto o tamanho da base nao couber bem na infraestrutura avaliada.