Imersão Jornada de Dados no Databricks

Um projeto de dados do mundo real, construído do zero em 4 dias, 100% no Databricks Free Edition.

Uma empresa de e-commerce brasileira acabou de abrir a operação digital. Você foi contratado e, antes de estruturar qualquer coisa, três diretores já querem respostas:

Em 4 aulas você vai responder essas perguntas, automatizar a chegada dos dados, profissionalizar o projeto com IA e, no fim, deixar os diretores perguntarem sozinhos.

Não é um exercício. É um projeto de mercado.

 Dia 1                Dia 2                    Dia 3                    Dia 4
 Responder na mão  →  Automatizar a chegada →  Profissionalizar com IA →  Autonomia para o negócio
 SQL + Dashboard      Python + Pipeline        Claude Code + Deploy       Dashboards + Genie

A frase que resume a imersão: no dia 1 você respondeu o diretor; no dia 4 ele não precisa mais de você para perguntar.

Cada aula tem um README com a base teórica (o porquê de cada coisa), o passo a passo e os resultados esperados, para você conferir se chegou no mesmo número. Dá para acompanhar ao vivo ou assistir depois no YouTube no seu ritmo.

flowchart LR
    subgraph Fontes
        GH[Data lake<br/>Storage do Supabase<br/>Parquet via S3]
        API[API do IBGE<br/>JSON]
        CSV[CSVs<br/>upload manual<br/>Aula 1]
    end

    subgraph Databricks["Databricks · Unity Catalog · catálogo ecommerce"]
        VOL[(Volume<br/>bronze.arquivos<br/>Aula 2)]
        BR[(bronze)]
        SI[(silver)]
        GO[(gold)]
        JOB{{Job diário 6h<br/>Aula 2 e 3}}
    end

    subgraph Consumo
        DASH[Dashboards AI/BI<br/>Aulas 1, 3 e 4]
        GEN[Genie<br/>Aula 4]
    end

    CSV --> BR
    GH --> VOL
    API --> VOL
    VOL --> BR --> SI --> GO
    JOB -.orquestra.-> BR
    GO --> DASH
    GO --> GEN

1. Acesse databricks.com/learn/free-edition e crie uma conta gratuita (Google, Microsoft ou e-mail).
2. Pronto. Não precisa de cartão de crédito nem de nuvem própria. A Free Edition já vem com:
   • Serverless compute para notebooks e Jobs;
   • um SQL warehouse chamado Serverless Starter Warehouse;
   • Unity Catalog, dashboards e Genie.
3. Recomendado: verifique sua conta pelo LinkedIn quando o Databricks pedir. Sem essa verificação o workspace não acessa a internet, e a Aula 2 baixa dados de uma API e do GitHub. Faça isso antes do Dia 2, porque a aprovação pode não ser imediata.

A forma mais simples, sem instalar nada:

1. No Databricks, abra Workspace → Create → Git folder.
2. Cole a URL deste repositório: https://github.com/lvgalvao/Imersao-Jornada-Databricks.
3. Clique em Create Git folder. Todos os notebooks aparecem prontos para abrir.

Se preferir, baixe o .zip pelo GitHub (Code → Download ZIP) e importe cada notebook em Workspace → Import.

Quatro tabelas sintéticas (geradas com Faker) de um e-commerce brasileiro, com defeitos de propósito para você encontrar.

vendas.id_produto  ──►  produtos.id_produto  ◄──  preco_competidores.id_produto
vendas.id_cliente  ──►  clientes.id_cliente

Números para conferir: receita total de R$ 974.077,28, 2.155 vendas no e-commerce e 865 na loja física.

Defeitos de propósito:

• 20 vendas de produtos que não existem no catálogo (você descobre na Aula 1, trata na Aula 2 e testa na Aula 3);
• 30 produtos que nunca foram vendidos;
• produtos diferentes com o mesmo nome (conte sempre por id_produto);
• a categoria Tênis custa o dobro da concorrência.

Os arquivos estão em dados/, em CSV (Aula 1) e Parquet (Aula 2).

.
├── README.md                          ← você está aqui
├── CLAUDE.md                          ← contexto do projeto para o Claude Code (Aula 3)
├── databricks.yml                     ← o projeto inteiro como código (Aula 3)
├── resources/                         ← Job, pipeline, dashboards e Genie declarados em YAML
├── dados/                             ← CSVs e Parquets do e-commerce
├── aula-01-sql-dashboard/
│   ├── 00_o_desafio.sql               ← o desafio: diretores, dados e as 12 perguntas
│   ├── 01_sql_e_dashboard.sql         ← a resolução, passo a passo
│   └── dashboard/                     ← dashboard pronto para importar
├── aula-02-python-engenharia/
│   ├── 00_esquenta_python.py          ← exercícios de Python (e o gabarito)
│   └── 01_ingestao_bronze.py          ← data lake + API → bronze (e o gabarito)
├── aula-03-claude-code/
│   ├── pipeline/silver/               ← limpeza, enriquecimento e expectations (PySpark)
│   ├── pipeline/gold/                 ← tabelas de negócio documentadas (SQL)
│   ├── PRD.md                         ← especificação do pipeline para a IA
│   ├── prompts/                       ← a Aula 3 inteira em 4 prompts (prompt_01.md a prompt_04.md)
│   ├── testes/03_testes_qualidade.py  ← testes que param o Job se o dado estiver errado
│   └── dashboard/                     ← dashboard lendo da gold
└── aula-04-genie/
    ├── prompts/                       ← a Aula 4 inteira em 2 prompts: 3 dashboards e o agente do Genie
    ├── dashboards/                    ← gabarito: um dashboard por diretoria
    ├── genie/                         ← gabarito: definição do Genie space
    ├── 01_preparar_dados_para_ia.sql  ← o que o Genie enxerga da gold
    └── perguntas_demo.md              ← as perguntas de teste do Genie, com a resposta conferida

Se você já tem a Databricks CLI configurada (o passo a passo de instalação da CLI e do Claude Code está no README da Aula 3), dá para implantar tudo (Job, dashboards e Genie) de uma vez. Isso é o que a Aula 3 ensina em detalhes:

databricks bundle deploy -t prod            # cria Job, pipeline, dashboards e o Genie space
databricks bundle run pipeline_ecommerce -t prod   # roda ingestão → gold → testes → documentação

O dashboard da Aula 1 lê das tabelas ecommerce.bronze, que o Job também preenche.

Ao final da imersão será disponibilizado um formulário único. Para ganhar o certificado e participar do sorteio da mentoria 1:1, é preciso participar das 4 aulas.

Boa jornada!