Repository navigation
Agente data engineer
Esta página descreve o agente data-engineer de forma didática. Se algum termo for novo, consulte o Glossário.
Este agente é o engenheiro de dados; ele cuida dos canos por onde os dados passam. Um "cano de dados" (em inglês, pipeline) é o caminho que pega informação de um lugar (um site, um aplicativo, um banco de dados) e leva até outro lugar onde ela fica organizada e pronta para ser consultada. O trabalho dele é fazer esse caminho ser confiável: o dado chega certo, atualizado e sem se perder.
O Claude Code aciona este especialista quando você fala de mover, guardar ou organizar grandes quantidades de dados. Por exemplo:
- "Preciso de um pipeline de dados que junte as vendas de várias fontes."
- "Como armazenar milhões de eventos do meu aplicativo?"
- "Minha consulta de relatório está lentíssima, dá para acelerar?"
- "Quero montar um almoxarifado de dados (data warehouse) para os relatórios."
- "Os dados estão chegando sujos e duplicados, como limpo?"
Sempre que aparecem palavras como ingestão, ETL, data lake, modelo de dados, tabela de fato, qualidade de dado ou consulta analítica lenta, este agente entra.
- Monta os canos de dados. Cria o caminho que traz a informação das origens e a deixa pronta, em lotes (de tempos em tempos) ou em tempo real (continuamente).
- Organiza o armazenamento em camadas. Guarda o dado cru primeiro, depois o limpa, depois o deixa pronto para uso. É como receber compras, lavar e guardar arrumado na despensa.
- Garante que rodar duas vezes não estraga nada. Se o processo repetir por engano, o resultado final continua correto, sem dado duplicado.
- Verifica a qualidade do dado. Cria testes que avisam quando algo veio errado: campo vazio que não podia, valor fora do esperado, dado velho demais.
- Cuida da privacidade. Identifica dados pessoais (ver PII no Glossário) e os protege, escondendo ou embaralhando o que for sensível.
- Controla o custo. Organiza os dados de um jeito que as consultas leiam menos e fiquem mais baratas e rápidas.
- Documenta a origem de cada dado. Mantém um mapa de onde cada informação veio e para onde foi (chamado lineage, ou linhagem), para ninguém ficar perdido.
Cor azul (agente operacional). Família: Dados e IA.
-
CONTRACT: o padrão de código e a autoridade do projeto; o contrato de dados se apoia nele. -
hardware-resource-limits: os limites da máquina, para não travar o computador ao processar grandes volumes de dados.
Você diz: "Tenho eventos de cliques do meu site chegando o tempo todo e quero um relatório diário de quantos usuários visitaram cada página." O agente projeta o cano de dados completo: como receber os cliques sem perder nenhum, como guardá-los em camadas, como agrupar por dia e por página, e quais testes garantem que o número está certo, sempre indicando de onde o dado veio e quem é o responsável.
Veja também Cândido (CDO) e Caetano (CTO), os líderes que coordenam este agente, além dos colegas de família data-scientist, ml-engineer e applied-ai-engineer. Voltar para a Home.