Skip to content

O buscando-meu-carro é um repositório que contém um projeto Python que utiliza técnicas de scrapping para criar um Data Warehouse (DW) contendo informações de veículos disponíveis para venda no Mato Grosso do Sul.

Notifications You must be signed in to change notification settings

FelipeGaleao/buscando-meu-carro

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

52 Commits
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 

Repository files navigation

buscando-meu-carro

🗣📖 Este repositório contém uma aplicação desenvolvida em Python que realiza a captação das informações (webscrapping) dos veículos disponibilizadas no site do ShopCar e OLX. O objetivo será alimentar um BI com informações referente aos carros disponíveis para venda no Mato Grosso do Sul.


🔧🔨 Tools and Libraries

  • Python
  • Pandas
  • BeautifulSoup
  • API RESTful (scrapping)
  • Airflow

TODO List

  • Desenvolver o método para scrapping utilizando API
  • Desenvolver métodos para scrapping utilizando BeautifulSoup
  • Adicionar Airflow para orquestrar a execução dos crawlers
  • Desenvolver método para scrapping no OLX Brasil
  • Desenvolver método para scrapping no ShopCar
  • Desenvolver um dashboard usando streamlit para visualização das informações

About

O buscando-meu-carro é um repositório que contém um projeto Python que utiliza técnicas de scrapping para criar um Data Warehouse (DW) contendo informações de veículos disponíveis para venda no Mato Grosso do Sul.

Topics

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published