Home

🚌 SPTrans Data Pipeline — Wiki

Bem-vindo ao Wiki do SPTrans Real-Time Public Transport Data Pipeline.

Este projeto coleta, processa e visualiza dados em tempo real do transporte público de São Paulo usando a API Olho Vivo da SPTrans.

---

Arquitetura em Um Minuto

flowchart LR
    API[API Olho Vivo<br/>SPTrans] --> BRONZE[Bronze<br/>SQLite/PostgreSQL]
    BRONZE --> SILVER[Silver<br/>Parquet + DuckDB]
    SILVER --> GOLD[Gold<br/>Dashboards + Análises]
    ORQ[Dagster<br/>Orquestração] -.->|schedules| BRONZE
    ORQ -.->|schedules| SILVER

Loading

---

O Que Você Vai Encontrar Aqui

Página	O Que Cobre
🏗️ Arquitetura Detalhada	Padrão Medallion, abstração de banco, idempotência, diagramas
🔄 Fluxo de Dados	Passo a passo educativo: da API ao dashboard
⚙️ Setup e Configuração	Instalação, Docker, PostgreSQL, primeiros passos
📦 Componentes	Catálogo completo de cada script e asset

---

Stack

Camada	Tecnologia
Ingestão	Python 3.12+, requests
Armazenamento	SQLite / PostgreSQL + Parquet
Processamento	DuckDB + pandas
Orquestração	Dagster + Docker Compose
Qualidade	pytest (67 testes) + ruff + CI + AssetCheck

---

Quick Links

• Repositório no GitHub
• README principal
• CI Status