Skip to content

Upload e integridade dos dados originais

Jump to bottom
Peter edited this page Aug 4, 2020 · 14 revisions

A seguir passo a passo didático que deu origem ao algoritmo "automatizador de ingestão".

Carga para o servidor

Os arquivos precisam ser distribuídos, via FTP ou SFTP, por pastas do município. Por exemplo, com ls /home/igor/ obtemos a listagem das pastas organizadas pelo Igor em junho de 2020:

BR-ES-Serra          BR-PR-Cascavel        BR-RS-PortoAlegre  BR-SP-LaranjalPaulista  BR-SP-SaoVicente
BR-ES-VilaVelha      BR-PR-Pinhais         BR-RS-SantaMaria   BR-SP-Osasco            BR-SP-Sorocaba
BR-ES-Vitoria        BR-PR-SaoJosePinhais  BR-SC-JaraguaSul   BR-SP-Santos
BR-MG-BeloHorizonte  BR-RJ-Niteroi         BR-SP-Itu          BR-SP-SaoBernardoCampo
BR-PE-Recife         BR-RS-Gravatai        BR-SP-Jundiai      BR-SP-SaoPaulo

Dentro de cada uma delas são mantidos os arquivos de input. Por exemplo:

ls /home/igor/BR-RS-PortoAlegre/input
# SMF-XLSX-ORIGINAIS.zip

Para garantir que todos os arquivos de carga foram verificados, a informação pode ser transferida para um arquivo temporário com

ls -Rl /home/igor/ > /tmp/pg_io/lsR_raw.txt

O que resultará em um arquivo com o seguinte aspecto:

/home/igor/:
total 96
drwxrwxr-x 3 igor igor  4096 Jul 29 00:55 BR-ES-Serra
drwxrwxr-x 4 igor igor  4096 Aug  1 06:42 BR-ES-VilaVelha
drwxrwxr-x 3 igor igor  4096 Jul 29 00:27 BR-ES-Vitoria
drwxrwxr-x 3 igor igor  4096 Jul 28 16:20 BR-MG-BeloHorizonte
drwxrwxr-x 3 igor igor  4096 Jul 29 04:12 BR-PE-Recife
...
/home/igor/BR-ES-Serra:
total 4
drwxrwxr-x 2 igor igor 4096 Jul 29 01:11 input

/home/igor/BR-ES-Serra/input:
total 23652
-rw-rw-r-- 1 igor igor 24218623 Jul 29 01:14 2018-01-05 BaseCartográfica.gdb.zip
/home/igor/BR-ES-VilaVelha:
total 8
drwxrwxr-x 2 igor igor 4096 Jul 29 00:37 input
drwxrwxr-x 2 igor igor 4096 Aug  1 06:42 license

/home/igor/BR-ES-VilaVelha/input:
total 12552
-rw-rw-r-- 1 igor igor   68069 Jul 29 00:36 BAIRROS.zip
-rw-rw-r-- 1 igor igor 6282461 Jul 29 00:37 LOTES.zip
-rw-rw-r-- 1 igor igor 2327148 Jul 29 00:37 QUADRAS.zip
-rw-rw-r-- 1 igor igor 4165901 Jul 29 00:38 SISTEMA_VIÁRIO.zip
...

(wiki temporária!)

Clone this wiki locally