Repository navigation
🚀 AutoSINAPI Release/v0.3.0-beta.1 — Seu Pipeline ETL Está Pronto para Produção
🛠️ Sua nova ferramenta de planejamento!
Chegou a hora de aposentar as planilhas manuais e abraçar uma base de dados SINAPI verdadeiramente automatizada. Nesta versão beta, o AutoSINAPI entrega um pipeline ETL completo, testado e modular, projetado para transformar qualquer ZIP do SINAPI em tabelas limpas e prontas para uso imediato.
“Menos horas perdidas no tratamento de dados. Mais decisões embasadas e estratégicas.”
🌟 O que muda de verdade?
✅ Pipeline ETL de Nova Geração
Redesenhamos o etl_pipeline.py para ter um Ăşnico ponto de entrada (run_etl), suporte a variáveis de ambiente e tratamento de erros consistente. Agora seus workflows sĂŁo previsĂveis, fáceis de debugar e totalmente configuráveis.
✅ Modularidade Máxima
Transformamos o antigo script pre_processador.py em um mĂłdulo Python desacoplado. Cada etapa — download, extração, transformação e carga — pode ser reutilizada, estendida ou substituĂda sem dor de cabeça.
âś… SuĂte de Testes Inquebrável
Revisamos fixtures, adicionamos MagicMock onde fazia sentido e atualizamos as asserções para refletir os novos retornos do pipeline. Seus builds CI/CD agora validam cada parte do processo, garantindo zero regressões.
âś… Docker e Docs Alinhados
O Dockerfile, o Makefile e o DataModel.md foram atualizados para refletir a nova arquitetura. Em um Ăşnico docker-compose up, vocĂŞ tem um ambiente isolado com PostgreSQL e o ETL rodando, pronto para popular sua base.
📦 Uso & Integração
-
Stand-alone
- Clone o repositĂłrio
- Ajuste seu
.envou JSON de configuração - Execute
python tools/autosinapi_pipeline.py --config tools/meu_config.json
Seu banco SINAPI estará limpo, versionado e pronto para dashboard, BI ou auditoria.
-
Com outras aplicações
Se você já usa a [AutoSINAPI_API](https://github.com/LAMP-LUCAS/AutoSINAPI_API), basta apontar aDATABASE_URLpara o mesmo PostgreSQL onde o ETL rodou. Em minutos, sua API REST estará servindo dados fresquinhos e estruturados.
🔧 Changelog Técnico
-
Refactor
etl_pipeline.pyreestruturado comrun_etlcentralizado- Tratamento de erros unificado em todo o pipeline
pre_processador.pyconvertido em módulo importável
-
Feature
- SuĂte de testes revisada e fixtures simplificadas com
MagicMock - Ajustes em
test_pipeline.py,test_file_input.pyetest_downloader.py
- SuĂte de testes revisada e fixtures simplificadas com
-
Docs
- Atualização do
DataModel.mdĂ nova estrutura
- Atualização do
-
Chore
DockerfileeMakefilealinhados ao pipeline- Workflow CI (
tests.yml) ajustado para a nova suĂte de testes
🔍 Histórico de Implementações
- Merge branch 'release/v0.3.0-beta.1' — @LAMP-LUCAS (commit 0399303)
- feat(docker): adiciona suporte para ambiente containerizado — @LAMP-LUCAS
- docs: diretrizes de contribuição e documentação atualizada — @LAMP-LUCAS
- chore: trigger release drafter — @LAMP-LUCAS
- Feature/refactor etl interface | Refatora pipeline ETL e estabiliza suĂte de testes — @LAMP-LUCAS ([PR #11](#11))
đź”— [Veja o changelog completo](v0.2.0-alpha.1...v0.3.0-beta.1)
📣 Teste, Valide, Contribua
Esta é a versão beta: estável o bastante para produção leve, mas aberta ao feedback da comunidade.
Abra issues, envie PRs e compartilhe como o AutoSINAPI acelerou seu fluxo. Juntos vamos chegar à v1.0.0 mais rápido — e com mais qualidade.
O futuro da automação dos dados SINAPI começa aqui.