Projetos práticos de Engenharia de Dados desenvolvidos com foco em ETL, pipelines de dados, processamento em larga escala e análise orientada por dados.
Este repositório reúne projetos práticos voltados à Engenharia de Dados, com aplicação de boas práticas de ingestão, transformação, armazenamento e análise de dados.
Os projetos foram desenvolvidos com o objetivo de consolidar conhecimentos técnicos e simular cenários reais do mercado.
📁 Pasta: projeto-etl-api
Descrição:
Pipeline ETL automatizado que realiza a ingestão de dados a partir de uma API pública, executa processos de limpeza e transformação dos dados, armazena em banco relacional e disponibiliza informações para análise e visualização.
Tecnologias:
- Python
- SQL (PostgreSQL)
- APIs REST
- Pandas
- Apache Airflow
- Power BI
📁 Pasta: projeto-spark-bigdata
Descrição:
Projeto focado no processamento de grandes volumes de dados utilizando Apache Spark, aplicando conceitos de Big Data, processamento distribuído e análise de dados escalável.
Tecnologias:
- Apache Spark (PySpark)
- Python
- SQL
- MongoDB
- Jupyter Notebook
Bruno Almeida
Engenharia de Dados | Python | SQL | ETL | Big Data
📍 Brasil
🔗 LinkedIn: https://www.linkedin.com/in/bruno-almeida-38992528a/