🔦 Projeto Farol · Imersão Databricks + Claude Code

4 noites, 4 chapéus, 1 caso do começo ao fim.

Você é o único profissional de dados da Vértice Tecnologia, uma empresa fictícia com 520 pessoas e 60 projetos de clientes. Não tem time de dados: o analista, o engenheiro, o cientista e o engenheiro de IA são você. No primeiro dia, o dono pergunta uma coisa simples: quais projetos estão atrasados? E ninguém sabe responder, porque cada gerente controla o seu projeto numa ferramenta diferente.

Em 4 noites, no Databricks Free Edition (grátis, na sua conta), você constrói a Torre de Controle que responde ao dono: dos arquivos crus do Excel, do ClickUp e do MS Project até um app em que ele aprova decisões, com IA lendo status semanais e contratos.

Imersão Jornada de Dados · ao vivo no YouTube · 19 a 22 de outubro de 2026, às 19h30 Stack: Databricks Free Edition (serverless), SQL, Python, Lakeflow, Unity Catalog, AI/BI, Genie, Apps, Lakebase e Claude Code. Nunca programou? A noite 1 é toda no navegador.

A Vértice desenvolve e implanta sistemas para grandes clientes de varejo, financeiro, saúde, logística e indústria. São 60 projetos, e cada gerente controla o seu do seu jeito: 20 em planilhas Excel, 25 no ClickUp e 15 no MS Project. O PMO consolida tudo à mão, toda sexta, e o farol do status semanal está quase todo verde.

Na sua primeira semana, o dono faz quatro perguntas:

Regra de corte: SPI ou CPI < 0,9 = atenção · < 0,8 = crítico.

Ontem: o dado chega como cada ferramenta exporta. A mesma informação ("quando a tarefa começa") vem como número de série do Excel, como texto dentro de um JSON do ClickUp e como data ISO dentro de um XML do Project.

Excel do PMO	ClickUp (JSON)	MS Project (XML)
a data às vezes é texto (06/03/2025), às vezes número (45700)	responsável e campos personalizados dentro de listas JSON	baseline e datas aninhados, tarefas-resumo que somam duas vezes

Agora: uma tabela só, e as respostas em cima dela.

silver.tarefas (noite 2)	o schema gold (noites 2 a 4)
as 3 ferramentas no mesmo formato: projeto_id, ferramenta, fase, tarefa, datas de verdade	as tabelas prontas para o dono: KPIs por projeto e semana, pessoas, causa do atraso, contratos, score do modelo

E o Genie (o "pergunte em português" do Databricks) passa de errar a acertar:

Noite 1 · sem curadoria, sobre a bronze	Noite 2 · curado, sobre a gold
responde com segurança, mas conta "27 atrasados" misturando projetos encerrados e mostra o PRJ-011, que é crítico, com custo negativo (em verde)	acha as duas SREs a ~5% no PRJ-007 enquanto o PRJ-011 está bloqueado por falta de SRE

Tour completo pelas telas do Databricks que usamos: no fim de slides/imersao.html (workspace, notebook, serverless, warehouse, catálogo, volume, pipeline, job, lineage, metric view, Genie, MLflow, Lakebase e Apps, um por slide, com print).

Medido no dado da Vértice ao fim das 4 noites:

Para o aluno: um projeto completo de ponta a ponta no GitHub, o tipo de entrega que toda empresa que vive de projeto compra, e o pitch pronto para vender para o dono.

 FONTES                         LAKEHOUSE · UNITY CATALOG · lakehouse_vertice              CONSUMO
 ──────                         ──────────────────────────────────────────────            ────────────────────
 Excel (20 .xlsx)          ─┐   ┌──────────┐   ┌────────────────┐   ┌───────────────┐     ┌ AI/BI Dashboards
 ClickUp (25 .json)         │   │  BRONZE  │   │     SILVER     │   │     GOLD      │     │
 MS Project (15 .xml)       ├──▶│ como veio│──▶│ as 3 ferramen- │──▶│ KPIs por      │──┬─▶├ Genie Agent
 PMO: status semanal        │   │ read_files│   │ tas num modelo │   │ projeto e     │  │  │   (perguntas do dono)
 RH · timesheet             │   │ lê tudo  │   │ só, testado    │   │ semana        │  │  ├ App da Torre
 Financeiro · compras       │   └──────────┘   │ ai_extract nos │   │ Metric Views  │  │  │   + Lakebase (decisões)
 Contratos em PDF ──────────┘     noite 1      │ textos         │   └───────────────┘  │  └ Agente de contratos
                                               └────────────────┘        noite 2       │      (noite 4)
                                                     noite 2                           │
                                     Modelo de estouro em 30 dias (MLflow, UC) ◀───────┘ noite 3

Os KPIs são definidos uma vez (Metric Views no Unity Catalog) e reusados no dashboard, no Genie, no app e no agente.

Apresentações (abra o .html no navegador; ← → navega, F tela cheia): slides/imersao.html, um deck só para as 4 noites: o case, cada noite com passo a passo, prompts e um print de cada entregável, e no fim o tour pelos recursos do Databricks. Versão editável em PowerPoint (importa no Canva): slides/pptx/.

  noite 1             noite 2               noite 3                noite 4
  ───────             ───────               ───────                ───────
  junta à mão      →  integra num       →   vira previsão     →    vira produto
  as 3 ferramentas    pipeline que roda     "quais vão             app, agente e o
  e o Genie erra      e define o KPI        estourar?"             pitch para o dono

Noite 1 · o primeiro painel, sobre a bronze	Noite 2 · o pipeline que integra as 3 ferramentas
Noite 2 · o painel do dono, sobre a gold	Noite 2 · o job que roda tudo sozinho
Noite 3 · o modelo registrado, com @prod	Noite 3 · o score de hoje, com o motivo
Noite 4 · o Genie que lê contrato	Noite 4 · o Lakebase que guarda a decisão do app

Cada pasta é autocontida (README, roteiro, verificação e checkpoint). Perdeu uma noite? Comece da próxima.

1. Crie a conta grátis: databricks.com/learn/free-edition.
2. No Databricks: Workspace → Create → Git folder → https://github.com/lvgalvao/ImersaoControlTower.
3. Abra aulas/aula-01-analista-sql/00-carregar-dados → Run all. O catálogo nasce e os dados são gerados direto no volume.
4. Abra aulas/aula-01-analista-sql/01-ingestao-bronze.sql no SQL Editor → rode tudo.
5. Rode o exemplo 05 e depois aulas/aula-01-analista-sql/99-verificacao.sql. As 18 linhas devem dar ok.

Daí em diante, siga o README da noite 1.

git clone https://github.com/lvgalvao/ImersaoControlTower.git && cd ImersaoControlTower

# CLI do Databricks (>= 0.250) e login: cria o profile e salva a credencial
brew install databricks/tap/databricks        # ou: curl -fsSL https://raw.githubusercontent.com/databricks/setup-cli/main/install.sh | sh
databricks auth login --profile imersao        # escolha um nome e use SEMPRE --profile

# Claude Code
npm install -g @anthropic-ai/claude-code
claude                                         # na raiz do repositório

As skills oficiais do Databricks para o Claude Code já vêm no repositório (.claude/skills/). Para atualizar: databricks aitools update.

Os prompts de cada noite, na ordem e prontos para colar: PROMPTS.md.

Gerado por material/gerar_dataset.py: só biblioteca padrão do Python, seed fixa 42, cerca de 7 MB, em menos de 1 segundo. O "hoje" do dataset é 16/10/2026. Todo aluno gera exatamente os mesmos bytes.

python3 material/gerar_dataset.py --saida ./dados --seed 42
python3 material/validar_padroes.py --dados ./dados      # junta as 3 ferramentas e confere os 5 padrões

O dado é simulado, não sorteado: cada projeto avança semana a semana. Freeze, falta de SRE e squad com rotatividade atrasam; cada avanço consome horas e gera custo. Por isso SPI, CPI e ociosidade saem coerentes entre si. Padrões embutidos:

1. 8 projetos com CPI caindo a partir do 6º mês (escopo cresce sem aditivo);
2. o change freeze da Black Friday (01/11 a 10/01) trava os 3 projetos de e-commerce;
3. a consultoria CodeForge entrega com prazo 41% acima do prometido, e aparece escrita de 4 jeitos;
4. dois SREs seniores ociosos num projeto que ainda está no desenho, enquanto o status de outro pede SRE toda semana;
5. dois squads com rotatividade alta e os piores SPI da carteira.

A sujeira é proposital e é o conteúdo da noite 2: cada ferramenta com seu formato de data e de percentual, linha de TOTAL na planilha, tarefas-resumo no Project, status escrito de 12 jeitos no ClickUp, ferramenta escrita de 8 jeitos no PMO, vírgula decimal, estorno negativo, pessoa duplicada no RH e status vazio. Não "conserte" o gerador.

aulas/
├── aula-01-analista-sql/          navegador: catálogo, bronze das 3 ferramentas, 6 exemplos SQL, dashboard, Genie sem curadoria
├── aula-02-python-engenheiro/    notebooks: aquecimento de Python, data lake (boto3) → raw → bronze, API, job
├── aula-03-modelagem-claude-code/ Claude Code: bundle, silver, gold, testes, metric view
└── aula-04-produtos-de-dados-ia/  Claude Code: IA no texto, contratos, dashboard + Genie, app da Torre, pitch
material/
├── gerar_dataset.py           o gerador (seed 42)
├── validar_padroes.py         o gabarito: junta as 3 ferramentas e confere a história
├── xlsx_simples.py            escreve e lê .xlsx sem dependência
├── pdf_simples.py             escreve os PDFs sem dependência
└── PRD-torre-de-controle.md   a especificação da imersão
scripts/
├── run_sql.py                 roda um .sql no warehouse, statement por statement (API de statements)
├── genie.py                   publica um Genie a partir de JSON, pergunta e roda benchmark
├── gerar_notebooks.py         .sql dos exemplos → notebooks resolvidos e em branco
├── gerar_slides.py            fragmento de slides → apresentação HTML no visual da Jornada
└── gerar_prompts.py           monta o PROMPTS.md a partir dos prompts de cada noite
slides/                        as apresentações de cada noite (abra o .html no navegador)
.claude/skills/                as skills oficiais do Databricks para o Claude Code

• Catálogo lakehouse_vertice, schemas bronze / silver / gold, volume bronze.raw.
• Tabelas e colunas em snake_case e português.
• "Hoje" é sempre DATE'2026-10-16', nunca current_date().
• Sempre --profile nos comandos do Databricks.
• A bronze guarda o dado como veio. Limpeza e integração são na silver.

Feito pela Jornada de Dados. Dados e empresas fictícios.