Our purpose with this project was to extract information about books on the Amazon store website, in order to study correlations between the data collected (eg. Price x Reviews), analyse products, authors, publishers and categories, constructing data visualizations for better analytical overview.
We did this project for academic purpose only.
ALL RIGHTS RESERVED FOR AMAZON.COM, INC.
- Python (Data Extraction using Selenium and database modeling)
- Typescript (Website Structure)
Usage | Tool/ Library | Version |
---|---|---|
Data Visualization | ApexCharts.js | v3.31.0 |
Data Scraping | Selenium (Python) | v3.141.0 |
DBMS (JS) | SQLite3 | v^4.2.0 |
DBMS (Python) | SQLAlchemy | v1.3.16 |
Wrapper TypeScript containing Express.js, EJS and MySQL for website structure | Teem | v0.0.21 |
Database management and queries testing | DB Browser for SQLite | v3.12.2 |
Link for Python3 Webscraping repository
Nossa intenção com esse projeto foi retirar informações dos livros do site da Amazon a fim de estudar relações entre os dados (ex. Preço x Avaliações), analisar produtos, autores, editoras e categorias, montando visualizações com os seus respectivos dados obtidos.
O projeto foi realizado apenas com intenções de estudo.
TODOS OS DIREITOS RESERVADOS PARA AMAZON.COM, INC.
- Python (Extração de dados com Selenium e criação de banco)
- Typescript (Estrutura do website)
Função | Ferramenta/ Biblioteca | Versão |
---|---|---|
Montagem dos gráficos e visualizações | ApexCharts.js | v3.31.0 |
Raspagem de dados | Selenium (Python) | v3.141.0 |
SGBD (JS) | SQLite3 | v^4.2.0 |
SGBD (Python) | SQLAlchemy | v1.3.16 |
Wrapper TypeScript contendo Express.js, EJS e MySQL para construção do site | Teem | v0.0.21 |
Edição do banco e teste de consultas | DB Browser for SQLite | v3.12.2 |
Link para o repositório de Web Scrapping com Python3
Fernanda Shinoda | João Kitajima |
---|---|