fatec-government-alms

Um Crawler desenvolvido em Python com utilizando Scrapy, Numpy, Pandas e Matplotlib, que busca os gastos com o programa Bolsa Família, com dados de 2004 em diante.

Criado por:

• Lucas Varlesse
• Felipe Menino

Objetivo

Tem o objetivo de coletar os dados de gastos do bolsa família por estado e facilitar a exibição dessas informações

Configurando ambiente

Entre no repositório e crie um ambiente virtual com o virtualenv:

cd fatec-government-alms
virtualenv venv

Ative o ambiente virtual:

source venv/bin/activate

Instale as dependências:

pip install -r requiriments.txt

Configurando API

Há plot que será necessrio utilizar a API do Google, então, acesse: https://developers.google.com/maps/documentation/javascript/get-api-key

Pegue a chave de sua API e insira no arquivo plot.py, para que assim a visualização possa ser feita.

Executando

Para executar o script para extração, estruturação e o arquivo com os dados em fortamto JSON execute:

python main.py

Utilização - Plots

Para utilizar os métodos de plot é necessário criar um objeto da classe Plot.

from util.plot import Plot
plt = Plot()

A utilização das classes é bastante simples, veja:

Para fazer o plot do gráfico de gastos dentro de um período de tempo, em um certo estado, basta utilizar:

plt.plot_timeline('BAHIA', 2004, 2007)

O plot do gráfico de comparação de gastos entre estados use:

plt.verify_mean('BAHIA', 'RORAIMA', 2004, 2007)

Caso queira gerar os gastos de um único estado, em todos os anos, use:

plt.plot_only_out('SÃO PAULO')

Se necessário gerar o gasto em um ano específico, use:

plt.plot_state_year('SERGIPE', 2007)

Se quiser verificar qual a porcentagem de gasto de cada ano de um determinado estado utilize

plt.plot_percent_year('RORAIMA', 2004, 2014)

Se necessário exibir todos os dados, e um comparativo de representação entre os estados e seus gastos, use:

plt.plot_total()

Por fim, há a possibilidade de exbir um mapa com os pontos dos estados e seus gastos:

plt.plot_map(aux, '2016')

OBS: Para usar esta função é necessário adicionar uma chave de API do Google Maps no código plot.py