Skip to content

🚀 AutoSINAPI Release/v0.3.0-beta.1 — Seu Pipeline ETL Está Pronto para Produção

Choose a tag to compare

@github-actions github-actions released this 18 Sep 00:32
· 29 commits to main since this release

🛠️ Sua nova ferramenta de planejamento!

Chegou a hora de aposentar as planilhas manuais e abraçar uma base de dados SINAPI verdadeiramente automatizada. Nesta versão beta, o AutoSINAPI entrega um pipeline ETL completo, testado e modular, projetado para transformar qualquer ZIP do SINAPI em tabelas limpas e prontas para uso imediato.

“Menos horas perdidas no tratamento de dados. Mais decisões embasadas e estratégicas.”


🌟 O que muda de verdade?

✅ Pipeline ETL de Nova Geração
Redesenhamos o etl_pipeline.py para ter um único ponto de entrada (run_etl), suporte a variáveis de ambiente e tratamento de erros consistente. Agora seus workflows são previsíveis, fáceis de debugar e totalmente configuráveis.

✅ Modularidade Máxima
Transformamos o antigo script pre_processador.py em um módulo Python desacoplado. Cada etapa — download, extração, transformação e carga — pode ser reutilizada, estendida ou substituída sem dor de cabeça.

✅ Suíte de Testes Inquebrável
Revisamos fixtures, adicionamos MagicMock onde fazia sentido e atualizamos as asserções para refletir os novos retornos do pipeline. Seus builds CI/CD agora validam cada parte do processo, garantindo zero regressões.

âś… Docker e Docs Alinhados
O Dockerfile, o Makefile e o DataModel.md foram atualizados para refletir a nova arquitetura. Em um Ăşnico docker-compose up, vocĂŞ tem um ambiente isolado com PostgreSQL e o ETL rodando, pronto para popular sua base.


📦 Uso & Integração

  1. Stand-alone

    • Clone o repositĂłrio
    • Ajuste seu .env ou JSON de configuração
    • Execute python tools/autosinapi_pipeline.py --config tools/meu_config.json
      Seu banco SINAPI estará limpo, versionado e pronto para dashboard, BI ou auditoria.
  2. Com outras aplicações
    Se você já usa a [AutoSINAPI_API](https://github.com/LAMP-LUCAS/AutoSINAPI_API), basta apontar a DATABASE_URL para o mesmo PostgreSQL onde o ETL rodou. Em minutos, sua API REST estará servindo dados fresquinhos e estruturados.


🔧 Changelog Técnico

  • Refactor

    • etl_pipeline.py reestruturado com run_etl centralizado
    • Tratamento de erros unificado em todo o pipeline
    • pre_processador.py convertido em mĂłdulo importável
  • Feature

    • SuĂ­te de testes revisada e fixtures simplificadas com MagicMock
    • Ajustes em test_pipeline.py, test_file_input.py e test_downloader.py
  • Docs

    • Atualização do DataModel.md Ă  nova estrutura
  • Chore

    • Dockerfile e Makefile alinhados ao pipeline
    • Workflow CI (tests.yml) ajustado para a nova suĂ­te de testes

🔍 Histórico de Implementações

  • Merge branch 'release/v0.3.0-beta.1' — @LAMP-LUCAS (commit 0399303)
  • feat(docker): adiciona suporte para ambiente containerizado — @LAMP-LUCAS
  • docs: diretrizes de contribuição e documentação atualizada — @LAMP-LUCAS
  • chore: trigger release drafter — @LAMP-LUCAS
  • Feature/refactor etl interface | Refatora pipeline ETL e estabiliza suĂ­te de testes — @LAMP-LUCAS ([PR #11](#11))

đź”— [Veja o changelog completo](v0.2.0-alpha.1...v0.3.0-beta.1)


📣 Teste, Valide, Contribua

Esta é a versão beta: estável o bastante para produção leve, mas aberta ao feedback da comunidade.
Abra issues, envie PRs e compartilhe como o AutoSINAPI acelerou seu fluxo. Juntos vamos chegar à v1.0.0 mais rápido — e com mais qualidade.

O futuro da automação dos dados SINAPI começa aqui.