forked from phoemur/fundamentus
-
Notifications
You must be signed in to change notification settings - Fork 3
/
setor.py
112 lines (93 loc) · 4.69 KB
/
setor.py
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
"""
setor:
Info from .../detalhes.php?setor=
"""
import requests
import requests_cache
import pandas as pd
import time, logging
from tabulate import tabulate
def get_setor_data(setor=None):
"""
Setor: ...
Output:
List
"""
## GET: setor
url = 'http://www.fundamentus.com.br/resultado.php?setor={}'.format(setor)
hdr = {'User-agent': 'Mozilla/5.0 (Windows; U; Windows NT 6.1; rv:2.2) Gecko/20110201' ,
'Accept': 'text/html, text/plain, text/css, text/sgml, */*;q=0.01' ,
'Accept-Encoding': 'gzip, deflate' ,
}
with requests_cache.enabled():
content = requests.get(url, headers=hdr)
if content.from_cache:
logging.debug('.../resultado.php?setor={}: [CACHED]'.format(setor))
else:
logging.debug('.../resultado.php?setor={}: sleeping...'.format(setor))
time.sleep(.500) # 500 ms
## parse + load
df = pd.read_html(content.text, decimal=",", thousands='.')[0]
##
return list(df['Papel'])
def get_setor_id(label):
return df.T[label]['id']
def list_setor():
print( tabulate(df, headers=['label','desc','id'], tablefmt='presto') )
return
## Setores:
setor = [
[ 'agro' , 'Agropecuária' , 42 ] ,
[ 'saneamento' , 'Água e Saneamento' , 33 ] ,
[ 'alimentos' , 'Alimentos' , 15 ] ,
[ 'bebidas' , 'Bebidas' , 16 ] ,
[ 'com1' , 'Comércio' , 27 ] ,
[ 'com2' , 'Comércio' , 12 ] ,
[ 'com3' , 'Comércio e Distribuição' , 20 ] ,
[ 'computadores' , 'Computadores e Equipamentos' , 28 ] ,
[ 'construcao' , 'Construção e Engenharia' , 13 ] ,
[ 'engenharia' , 'Construção e Engenharia' , 13 ] ,
[ 'diversos' , 'Diversos' , 26 ] ,
[ 'embalagens' , 'Embalagens' , 6 ] ,
[ 'energia' , 'Energia Elétrica' , 32 ] ,
[ 'equipamentos' , 'Equipamentos Elétricos' , 9 ] ,
[ 'imoveis' , 'Exploração de Imóveis' , 39 ] ,
[ 'financeiro' , 'Financeiros' , 35 ] ,
[ 'fumo' , 'Fumo' , 17 ] ,
[ 'gas' , 'Gás' , 34 ] ,
[ 'holdings' , 'Holdings Diversificadas' , 40 ] ,
[ 'hoteis' , 'Hoteis e Restaurantes' , 24 ] ,
[ 'restaurantes' , 'Hoteis e Restaurantes' , 24 ] ,
[ 'papel' , 'Madeira e Papel' , 5 ] ,
[ 'maquinas' , 'Máquinas e Equipamentos' , 10 ] ,
[ 'materiais' , 'Materiais Diversos' , 7 ] ,
[ 'transporte' , 'Material de Transporte' , 8 ] ,
[ 'midia' , 'Mídia' , 23 ] ,
[ 'mineracao' , 'Mineração' , 2 ] ,
[ 'outros' , 'Outros' , 41 ] ,
[ 'petroleo' , 'Petróleo, Gás e Biocombustíveis' , 1 ] ,
[ 'previdencia' , 'Previdência e Seguros' , 38 ] ,
[ 'seguros' , 'Previdência e Seguros' , 38 ] ,
[ 'usopessoal' , 'Prods. de Uso Pessoal e de Limpeza' , 18 ] ,
[ 'limpeza' , 'Prods. de Uso Pessoal e de Limpeza' , 18 ] ,
[ 'programas' , 'Programas e Serviços' , 29 ] ,
[ 'quimicos' , 'Químicos' , 4 ] ,
[ 'saude' , 'Saúde' , 19 ] ,
[ 'securitizadoras' , 'Securitizadoras de Recebíveis' , 36 ] ,
[ 'servicos' , 'Serviços' , 11 ] ,
[ 'finandiversos' , 'Serviços Financeiros Diversos' , 37 ] ,
[ 'siderurgia' , 'Siderurgia e Metalurgia' , 3 ] ,
[ 'tecidos' , 'Tecidos, Vestuário e Calçados' , 21 ] ,
[ 'vestuario' , 'Tecidos, Vestuário e Calçados' , 21 ] ,
[ 'telecom' , 'Telecomunicações' , 43 ] ,
[ 'telefoniafixa' , 'Telefonia Fixa' , 30 ] ,
[ 'telefoniamovel' , 'Telefonia Móvel' , 31 ] ,
[ 'transporte' , 'Transporte' , 14 ] ,
[ 'utilidades' , 'Utilidades Domésticas' , 22 ] ,
[ 'viagens' , 'Viagens e Lazer' , 25 ] ,
]
##
df = pd.DataFrame(setor, columns=['label','desc','id'])
df.index = df['label']
df = df[ ['desc','id']]
# return df