Extrair dados do Tesouro Extrato Analítico e Extrato BM&FBOVESPA

[brunoosilva]

Boa tarde pessoal,

Primeiramente, parabéns pelo crawler, está muito bem feito e muito rápido.

Estava olhando esses 2 relatórios Tesouro Extrato Analítico e Extrato BM&FBOVESPA, percebi que hoje ainda não foi implementando, teriam intenção de extrair essa informações ?

Percebi que no caso do Tesouro Extrato Analítico, para pegar as informações é aberto um Modal na tela e dentro do modal uma tabela. Na estrutura que tem hoje do crawler ele suportaria pegar a informação em modal ?

Em questão ao Extrato BM&FBOVESPA, ele exporta um Excel (Download), saberia dizer também se na arquitetura atual, suportaria o download de arquivo ?

Obrigado

[Menighin]

Ei @brunoosilva boa noite tudo bem?

Em nenhum dos casos eu pelo menos tenho previsão de implementar nao...

Sobre o Extrato BM&FBOVESPA, me parece que ele é somente um consolidado das informações cruas, certo? Ou seja, com as informações das negociações e proventos me parece possível chegar nas informações que ele te dá.
Olhando as requisições que a página faz, não parece que seria nada muito dificil de pegar com o Crawler não. O problema é que ele baixa um XLSX (ao invés de um simples csv, por exemplo) que, de quebra, vem sem um formato muito padrão. Então o processamento desse arquivo que parece ser bem chatinho de fazer.

Sobre o Tesouro Extrato Análitico, olhando também as chamadas que a página faz, parece que o motor do crawler suportaria sim crawlear as informações do modal sem problemas. Só seria necessário identificar os "botões" nas linhas de tesouro direto para buscar as informações corretamente.

É aquilo, eu a principio nao tenho previsão de fazer isso não. Mas o projeto é open source, então fica a vontade pra tentar e tal, vou ajudando sempre que possivel :D

Abs

[brunoosilva]

Fala @Menighin,

Obrigado pelo retorno e explicação, ajudou muito.

Faz sentido o que você falou sobre a Extrato BM&FBOVESPA, mas nessa tela ele tem um prazo maior de informações.

Na parte do Tesouro, fiz uma análise ontem e realmente está tranquilo de evoluir.

Qualquer coisa mando um PR, value pela ajuda.

[brunoosilva]

Feito o PR #32