🏡 Radar Imobiliário Mensal de Fortaleza/CE

📜Sumário

1. 📌 Sobre o Projeto
2. ⚙️ Tecnologias Utilizadas
3. 🚀 Como Executar
4. 📊 Estrutura do Projeto
5. 🗒️ Licença
6. 📞 Contato

📌 Sobre o Projeto

Com a ideia de dar um próximo passo no meu projeto de web scraping de dados imobiliários decidi criar um report mensal com dados colhidos de anúncios em diversos sites para entregar um paranorâma mensal do mercado imobiliário residencial da capital cearense.

Próximo passos

• Maio/2025 - Criação de um Data Warehouse.
• Junho/2025 - Orquestração com Airflow.
• Julho/2025 - Pipeline CI/CD Completo.

⚙️ Tecnologias Utilizadas

Este projeto foi desenvolvido utilizando:

• 🐍 Python 3.11.8+
• 📊 Streamlit (Interface)
• 🦆 DuckDB & dbt (Armazenamento e transformação dos dados)
• 🔢 Pandas & NumPy (Manipulação de Dados e Armazenamento)
• 🕸️ Scrapy (Web Scraping)
• 📈 Plotly (Visualização de Dados)

Arquitetura da solução

🚀 Como Executar

Acesse a aplicação web no Streamlit Cloud.

Execução

1️⃣ Clone o repositório

git clone https://github.com/datalopes1/report_fortal.git
cd report_fortal

2️⃣ Crie e ative um ambiente virtual (recomendado)

python -m venv .venv
source .venv/bin/activate  # Mac e Linux
.venv\Scripts\activate  # Windows

3️⃣ Instale as dependências

pip install -r requirements.txt

4️⃣ Execute o projeto

streamlit run src/dashboard/app.py

📊 Estrutura do Projeto

report_fortal/
│-- .streamlit/                 # Arquivos de configuração do Streamlit
|-- data/
|   └── processed/              # Dados processados
|   └── raw/                    # Arquivos brutos extraídos
|   └── database.duckdb         # Banco de Dados 
|-- dwh/                        # Modelos do Data Warehouse
|-- img/                        # Imagens utilizadas na documentação
|-- src/                
|   └── dashboard/              # Script do Streamlit
|   └── extract/                # Scripts de extração dos dados
|   └── load/                   # Scripts de ingestão dos dados
|-- LICENSE.md                  # Licença do projeto
|-- poetry.lock                 # Lock do Poetry
|-- pyproject.toml              # Dependências do projeto
|-- README.md                   
└── requirements.txt              

🗒️ Licença

Este projeto está licenciado sob a MIT License - veja o arquivo LICENSE para mais detalhes.

📞 Contato

• 📬 datalopes1@proton.me
• 🖱️ https://datalopes1.github.io/
• 📱 +55 88 99993-4237