Documentatie: Realisatie BAG database onder Windows

[geertdoornbos]

Hallo NLExtract team,

Applaus voor al het werk dat jullie doen! Daar zullen wel vele uurtjes ingegaan zijn. Ik heb tijdje geleden een behoorlijke poging gedaan om de installatie onder Windows(http://docs.nlextract.nl/en/latest/bagextract.html#installatie-windows) gedaan te krijgen, maar dat is niet gelukt (door mijn onervarenheid met de gebruikte tooling vermoedelijk, diverse foutmeldingen). Ik wil het later nog wel eens weer proberen (om de platformonafhankelijkheid van open source te stimuleren bijvoorbeeld).

Recentelijk de andere weg geprobeerd, namelijk gewoon de database restoren met behulp van de backup (http://data.nlextract.nl/bag/postgis/) zodat je de data direct kunt gebruiken. Na wat gestuntel met postgis was dat toch uiteindelijk gelukt (toch weer vele uren verder).

Ik heb de genomen stappen vastgelegd middels ca 50 afbeeldingen en nu leek het met handig om dat te delen, bijv. in de handleiding op te nemen, op de wiki pagina o.i.d.
Iemand die nieuw is in de PostgreSQL/PostGIS wereld, maar toch kennis heeft van SQL databases kan hiermee binnen redelijke termijn 'up and running' zijn.
Zo ja, waar en hoe aanpakken?

[justb4]

Hallo Geert, Goede vraag en initiatief! Het restoren geldt voor alle dumps die we aanbieden: Top10NL, BGT, BRK en BAG bijv. Zou goed zijn dat in een handleiding te hebben. Is in feite heel generiek denk ik: Postgres+PostGIS op Windows en "een dump" inlezen. 50 afbeeldingen is fors, hoeveel storage plm? We kunnen volgende doen:

• toevoegen aan bestaande documentatie+afbeeldingen. Documentatie staat in GitHUb (.rst bestanden: https://github.com/opengeogroep/NLExtract/tree/master/doc/source) met plek voor afbeeldingen onder https://github.com/opengeogroep/NLExtract/tree/master/doc/source/_static
• afbeeldingen als slide show op web met verwijzing uit documentatie

Het liefst doe ik het eerste, dat is meest bestendig. Ben je in staat een GitHub Pull Request te doen?

[fsteggink]

Tja, de installatie op Windows lijkt een heikel punt te blijven. Dit komt o.a. omdat de installatie van de benodigde software steeds op de schop wordt genomen. Het is bijna iets dat continu aandacht nodig heeft.

Laatst heb ik het op een computer geinstalleerd met als doel de BAG geladen. Hiervan heb ik geen beschrijving gemaaakt. Wel voor Linux (zodat iemand anders er een Puppet-setup van kon maken), maar dat is hier niet van toepassing.
Voor NLExtract zou ik het volgende doen:

• PostgreSQL installatie
• PostGIS via de PostgreSQL stack builder
• Python 2.7.11 installatie
• Python pip upgraden, i.v.m. installatie psycopg2: python -m pip install --upgrade pip
• Python-dependencies van Christoph Gohlke: psycopg2, gdal, lxml

Voor de overige basisregistraties moet je ook GDAL installeren. Dit doe ik gewoon door QGIS te installeren. Daarbij krijg je tegenwoordig een recente GDAL-versie (2.0). En dan heb je gelijk een viewer voor je data.

Voor het restoren van de BAG-database hoef je alleen PostgreSQL en PostGIS te installeren.
Restore-commando: pg_restore -d bag -O --role=bag -U postgres d:\Geodata\Netherlands\BAG\bag-2016_06_08.backup
DB en user heten allebei bag.

Ik besef me dat dit allemaal gemakkelijker klinkt dat het in feite is :) Ik ben zelf ook vaak genoeg aan het zoeken geweest. Met name de Python-libraries kunnen soms een verschrikking zijn...

[fsteggink]

Geert en ik hebben hierover gechat. De handleiding gaat alleen over het restoren van de database. Ik heb hem wat feedback gegeven op zijn voorstel. Geert probeert dit voor de release van milestone 1.2.0 af te ronden (loop van volgende week) en zal een pull request indienen. Ik zal het reviewen, maar ben waarschijnlijk zelf niet in de gelegenheid om dit binnen nu en een paar weken op een schone machine te testen.
Ik ga de BAG-documentatie ook aanpassen, o.b.v. mijn eigen ervaringen van de laatste tijd. De focus ligt meer op de Python-installatie en het gebruik van de command line voor het restoren van de database of het zelf uitvoeren van een extract.

[geertdoornbos]

Met een beetje vertraging PR #190 toegevoegd. Ben benieuwd of het goed gaat met de 'images' folder.
Afbeeldingen zijn in totaal 1MB geoptimaliseerde png's, superklein :)

[fsteggink]

Hoi Geert, bedankt voor het aanleveren van de documentatie. Just heeft het pull request al gemerged. Zoals beloofd, heb ik een review uitgevoerd. Kleine tekstuele opmerkingen heb ik gelijk zelf verwerkt in commit 1c81d03.

Ik heb maar één grotere opmerking bij Aanmaken spatial database: in het screenshot staat het vinkje uit bij "Create spatial database". Het is beter om de situatie te tonen vlak voordat de gebruiker op Next klikt. Zou je hiervoor nog een aangepast screenshot kunnen aanleveren?

[fsteggink]

Afbeelding zelf bijgewerkt, was kleine moeite.