Repositório de laboratórios práticos da disciplina de Big Data. Cada pasta labN/ contém um exercício guiado, com dados, roteiro e (quando aplicável) um notebook inicial para o Google Colab.
Big Data é o campo que estuda como coletar, armazenar, processar e extrair valor de conjuntos de dados grandes ou complexos demais para serem tratados por ferramentas tradicionais. O conceito costuma ser resumido pelos 5 V's:
| V | Significado |
|---|---|
| Volume | Quantidade de dados gerados e armazenados (de gigabytes a petabytes) |
| Velocidade | Rapidez com que os dados são criados e precisam ser processados |
| Variedade | Diferentes formatos: estruturados (planilhas), semiestruturados (JSON, logs) e não estruturados (imagens, texto, vídeo) |
| Veracidade | Qualidade e confiabilidade dos dados |
| Valor | Utilidade real da análise para a tomada de decisão |
Antes de partir para ferramentas de processamento distribuído (Hadoop, Spark), é importante consolidar os fundamentos: como carregar dados, tratá-los, analisá-los e visualizá-los. É esse o objetivo do Lab 1.
lab-big-data/
├── README.md ← este arquivo
└── lab1/
├── README.md ← roteiro passo a passo da aula
├── vendas.csv ← dataset usado no laboratório
└── lab1_colab.ipynb ← notebook inicial (Google Colab)
| Lab | Tema | Ferramentas |
|---|---|---|
lab1/ |
Análise exploratória de vendas: dados → tratamento → análise → visualização → decisão | Python, Pandas, Matplotlib |
Mais laboratórios serão adicionados conforme a disciplina avança (limpeza de dados, MapReduce, Hadoop, Spark/PySpark).
- Conta Google (para usar o Google Colab, gratuito)
- Não é necessário instalar nada localmente — os notebooks já trazem as bibliotecas usadas (
pandas,matplotlib)
- Abra a pasta do laboratório desejado (ex.:
lab1/). - Leia o
README.mdda pasta — ele traz a situação-problema e o passo a passo. - Abra o notebook
.ipynbno Google Colab (Arquivo → Fazer upload de notebook) e faça upload também do arquivo.csvcorrespondente. - Siga as etapas e responda às perguntas propostas no seu próprio notebook.
Uso educacional livre para fins da disciplina.