Web Scraping usando Scrapy, Pandas, MySQL, Streamlit e Plotly

Esse projeto é uma ETL para pegar dados de alugueis da OLX da região de grande florianópolis, aplicar algumas transformações, inserir em um banco de dados e depois ler esses dados e criar um dashboard de análise.

Indicadores analisados

• Valor médio por Cidade
• Valor médio por Bairro
• Valor médio Geral
• Quantidade de Imóveis extraídos
• Quantidade de Cidades disponíveis
• Quantidade de Bairros disponíveis

Porém a base da dados extraída existe muito mais informações que podemos analisar.

Diagrama do fluxo ETL

Instalação

Para usar o código, siga os passos abaixo:

1. Clone o repositório:

   git clone https://github.com/MarcusMix/webscraping-python

2. Navegue até o diretório do projeto:

   cd olx

3. Instale as dependências necessárias (requer pip):

   pip install scrapy
   pip install streamlit
   pip install plotly.express
   pip install sqlalchemy

4. Entre na pasta do dashboard:

   cd dashboard

5. Start no projeto:

   streamlit run main.py

Screenshot

Web scraping com Scrap

Transformação e limpeza dos dados com Pandas

Utilização do Banco de dados MySQL

Dashboard usando Streamlit e Plotly

Headline do dashboard com KPIs

Grafico de pizza Valor médio por Cidade

Valor médio por bairro

Valor médio por bairro filtrado

Exemplos de Uso

Neste exemplo, o intuito foi extrair todas as informações relacionadas a alugueis da grande florianópolis, e tratar esses dados, dessa forma podemos ter uma análise precisa da situação atual dos imóveis.

Licença

Este projeto está licenciado sob a licença MIT. Veja o arquivo LICENSE para mais detalhes.

Autor

Desenvolvido por MarcusMix

---

Referências

• Documentação do Python
• Pandas Library
• openpyxl Library
• Streamlit
• Plotly

---