O objetivo deste curso é realizar um overview geral sobre a ferramente Azure Synapse Analytics (antigo Azure SQL Data Warehouse) implementando soluções de big data em um projeto real com dados abertos.
O repositório original pertence ao professor Ramesh Retnasamy no qual é especialista em Arquitetura, Design, Desenvolvimento e Implementação de projetos de engenharia de dados e machine learning, atuando com Tecnologia da Informação desde 2002.
LinkedIn: https://www.linkedin.com/in/ramesh-retnasamy/
O curso pode ser adquirido em: https://www.udemy.com/course/azure-synapse-analytics-for-data-engineers/
O curso demonstra a utilização da ferramenta Azure Synapse Analytics em cases reais realizando a execução de um projeto real utilizando dados da NYC Taxi Trips Data.
É possível visualizar os conceitos e aplicação dos tipos de Pool do Synapse, sua aplicação em diversas arquiteturas, utilização de pipelines, integração com Power BI, Data Lake Storage Gen 2 e Cosmos DB.
Sua estruturação consiste em:
- Introdução geral
- Realização de Subscription na Azure
- Overview sobre o Synapse Analytics
- Overview sobre o projeto abordado com os dados da NYC Taxi
- Overview sobre o SQL Pool Serverless
- Leitura de arquivos CSV via query
- Leitura de arquivos JSON via query
- Leitura de diretórios e múltiplos arquivos via query
- Leitura de arquivos colunares via query
- Discovery de dados
- Virtualização de dados
- Ingestão de dados
- Transformação de dados
- Criação de pipelines e triggers
- Pool em Spark
- Integração com Power BI
- Synapse Link/HTAP para utilização de Cosmos DB
- Pool dedicado de SQL
Foi possível adquirir muitos conhecimentos e entender a aplicabilidade do Azure Synapse Analytics em diversas arquiteturas visto que esta ferramenta pode ser considerada um canivete suiço, sendo possível trabalhar em processos batch ou streaming além de integração com diversas API, ferramentas de visualização de dados e até mesmo utilização em otimização de bancos de data warehouse.
Link do certificado: https://www.udemy.com/certificate/UC-a20978aa-9b82-4c1b-ad47-09149e945443/