O Banco Central do Brasil (Bacen), de forma trimestral, publica relatórios detalhados com uma vasta gama de dados sobre instituições financeiras, disponíveis através do Portal IF.data. Estes dados, embora valiosos, exigem processamento e análise cuidadosa para extrair informações significativas. O objetivo central deste projeto é empregar técnicas de mineração de dados aos conjuntos de dados do Portal IF.data com o objetivo de criar insights sobre o sistema financeiro brasileiro.
Sumário
Embora o Bacen disponibilize dados para o público em geral, com o objetivo de atender ao disposto na Lei 12.527 de 2011 (popularmente conhecida como Lei de Acesso à Informação), a forma como esses dados são apresentados exige a aplicação de métodos especializados para sua interpretação. É necessário empregar uma série de procedimentos e técnicas para extrair informações mais sofisticadas desses dados. A utilização de algoritmos e técnicas de tratamento e mineração de dados é fundamental nesse contexto. Essas abordagens permitem a extração de insights mais complexos dos dados fornecidos pelo Bacen, facilitando análises mais profundas e detalhadas sobre o sistema financeiro brasileiro.
O Portal IF.Data, criado pelo Banco Central do Brasil (Bacen), atende às exigências da Lei de Acesso à Informação (Lei 12.527 de 2011). Essa legislação obriga o poder público a publicar informações na internet de maneira acessível e em formatos compatíveis com processamento automatizado. O portal se caracteriza por ser interativo, armazenando e disponibilizando uma série de relatórios sobre instituições financeiras. Estes relatórios, que são atualizados trimestralmente, incluem dados abertos e podem ser visualizados online ou baixados em formato .csv.
No Portal IF.Data, é possível encontrar dados relacionados a contabilidade e capital, crédito, câmbio e segmentação das instituições financeiras. O portal abrange dados desde o ano 2000, e também oferece acesso a informações anteriores, de 1994 a 2000, embora em formatos diferentes. Para acessar os dados, o usuário pode selecionar no portal o trimestre de interesse, o tipo de instituição financeira e o relatório desejado.
O Banco Central do Brasil, frequentemente referido como Bacen, é a autoridade monetária principal do Brasil e desempenha um papel crucial na economia do país. Sua principal função é garantir a estabilidade do poder de compra da moeda nacional, o Real, e manter um sistema financeiro sólido e eficiente. Para isso, o Bacen regula a quantidade de dinheiro em circulação, administra as reservas internacionais do país, e atua como um regulador e supervisor do sistema financeiro, controlando e fiscalizando as instituições financeiras. Além disso, é responsável pela formulação e execução da política monetária, buscando controlar a inflação e influenciar as atividades econômicas. Como parte de suas funções, o Bacen também coleta e divulga dados econômicos e financeiros importantes, como os disponibilizados no Portal IF.Data, para garantir transparência e acesso à informação para o público em geral e para instituições financeiras.
Este projeto visa aprimorar a coleta e o processamento de dados através da automação de atividades em navegadores web, utilizando a biblioteca Selenium. Selenium é uma ferramenta poderosa para a automação de browsers, permitindo a extração eficiente de dados de diversas fontes online. Após a coleta, o projeto focará no agrupamento e tratamento desses dados, organizando-os de maneira sistemática e coerente.
Essa abordagem não só economiza tempo e recursos, eliminando a necessidade de coleta manual de dados, mas também aumenta a precisão e a confiabilidade das informações obtidas. A fase de tratamento dos dados é crucial, pois envolve limpeza, normalização e consolidação de informações de múltiplas fontes, preparando-as para análises mais aprofundadas.
O resultado final será um conjunto de dados estruturado e de fácil acesso, proporcionando uma base sólida para análises futuras. Este conjunto de dados permitirá aos analistas e pesquisadores extrair insights valiosos e realizar avaliações detalhadas em seus respectivos campos de estudo ou indústrias. Além disso, o uso de automação e tratamento avançado de dados representa um passo importante na direção da modernização e eficiência dos processos de coleta e análise de dados.
git clone https://github.com/alexcamargos/bacen-ifdata-scraper.gitpoetry installPara criar e ativar um ambiente virtual de desenvolvimento, utilize o módulo venv do Python. Este processo pode variar ligeiramente dependendo do sistema operacional que você está utilizando. Recomenda-se consultar a documentação oficial para orientações específicas caso não esteja usando um sistema GNU/Linux. Siga os comandos abaixo para configurar seu ambiente:
python -m venv .venv
.venv /bin/activate
pip install -r requirements.txtObservação: No Windows, use .venv\Scripts\activate para ativar o ambiente virtual.
Antes de iniciar o processo de captura, certifique-se de que o GeckoDriver esteja devidamente instalado e configurado no seu sistema.
poetry run python scraping.pyObservação: Caso não esteja utilizando Poetry, execute python scraping.py
O script será inicializado e exibirá, em tempo real, quais arquivos estão sendo baixados. Após a conclusão, um relatório será gerado, detalhando o número total de arquivos baixados e o tempo total de execução.
Os desenvolvedores responsáveis pelo site do Bacen desviaram do formato padrão de CSV. Eles implementaram uma abordagem incomum ao incluir agrupamentos de cabeçalhos e informações consolidadas do tipo e segmentação das instituições financeiras, dentro do arquivo CSV. Para garantirmos que temos arquivos que podem ser facilmente trabalhados precisamos corrigir essas inconsistências.
Os desenvolvedores do site do Bacen adotaram uma abordagem não convencional para o formato de arquivos CSV. Eles incorporaram agrupamentos de cabeçalhos e informações consolidadas do tipo e segmentação das instituições financeiras, diretamente nos arquivos CSV. Para assegurar que os arquivos sejam facilmente manuseáveis e úteis, é essencial corrigir essas inconsistências e alinhá-las com os padrões convencionais de CSV."
poetry run python process.pyObservação: Caso não esteja utilizando Poetry, execute python process.py
Feito com ❤️ por Alexsander Lopes Camargos 👋 Entre em contato!
Copyright 2023 by Alexsander Lopes Camargos.