Resumo:
Faz a raspagem de algumas informações referente ao tema de busca do site e em seguida analisa esses dados.
O programa está dividido em três etapas:
- Obter os links de todos os artigos referente ao tema de busca
- Percorrer por todos os links e raspar algumas informações em cada link
- Fazer uma analise com os dados e obter algumas informações
O programa get_links acessa o site e insere o termo de busca com a string da váriavel busc. Em seguida obtém todas as url's dos artigos referente ao termo de busca e salva em um arquivo com nome link.csv.
O programa get_information vai percorrer todos os link's salvo do arquivo link.csv e raspar as seguintes informações:
- Titulo
- Autores
- Nome da revista
- Ano da publicação
- Número de referências
- Número de citações
- Resumo
Em seguida vai salvar os dados no arquivo information.csv
O programa data_analysis vai ler o arquivo information.csv e obter algumas informações referente ao tema do busca, como:
- O número de publicações ao ano
- O número total de autores que já publicaram sobre o tema pesquisado
- O número total revistas e/ou conferências que já publicaram sobre o tema pesquisado
- Os 10 autores que mais publicaram sobre o tema pesquisado
- As 10 mais revistas que publicaram o tema pesquisado
- Os artigos mais citados
- Selenium
- Requests
- BeatifulSoup
- Pandas
- Matplotlib
- Seaborn