O objetivo deste projeto é desenvolver um pipeline para movimentar dados a partir de uma fonte inicial (flatfile) até a apresentação de dashboard para tomada de decisão sobre plataforma Power BI.
- Arquivos disponibilizados em diretório ad-hoc
- Transferência dos arquivos para pasta /raw (servidor de borda)
- Transferência dos arquivos para filesystem HDFS, dentro do servidor Hadoop
- Criação de estrutura de tabelas e carga na base relacional Hive
- Desenvolvimento e transformação em tabelas dimensionais e persistência das mesmas
- Desenvolvimento de dashboard (Power BI) e configuração de conexão com servidor remoto.