DW-BR

Introdução

Um Data Warehouse (DW) de conjuntos de dados abertos Brasileiros.

Implantação e Utilização

Provisionamento da Infraestrutura

Esta esta é opcional caso você deseje rodar o DW-BR localmente em sua máquina.

O DW-BR poussui scripts para configuração da infra estrutura, utilizando a ferramenta Ansible.

Para confirugação do servidor utilizando estes scritps, inicialmente deve-se definir uma máquina (física, VM, Container) com o sistema operacional Debian e um usuário com poderes de sudo definidos.

O arquivo ansible/inventory deve ser configurado com o IP do(s) servidor(es), nome do usuário, bem como o caminho para chave pública ssh autorizada.

Em seguida, basta-se executar o playbook Ansible

$ cd ansible
$ playbook -i inventory main.yml

Após a execução, o servidor estará configurado para execução das ferramentas do DW-BR

Parâmetros de conexões

Para configurar o banco de dados que irá receber o DW, as variáveis do arquivo config.ini devem ser definidas.

As configurações padrão já são funcionais para ambiente local.

Instalar dependência python

conda env create -f environment.yml

Construir/Atualizar o DW

conda activate dwbr && ./get_ds.py && ./extract_ds.py && ./update-dw

Referências

• PDET - Programa de Disseminação das Estatísticas do Trabalho
• PDET - Microdados (FTP)