New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Documentatie: Realisatie BAG database onder Windows #186

Closed
geertdoornbos opened this Issue Jun 16, 2016 · 6 comments

Comments

Projects
None yet
3 participants
@geertdoornbos
Contributor

geertdoornbos commented Jun 16, 2016

Hallo NLExtract team,

Applaus voor al het werk dat jullie doen! Daar zullen wel vele uurtjes ingegaan zijn. Ik heb tijdje geleden een behoorlijke poging gedaan om de installatie onder Windows(http://docs.nlextract.nl/en/latest/bagextract.html#installatie-windows) gedaan te krijgen, maar dat is niet gelukt (door mijn onervarenheid met de gebruikte tooling vermoedelijk, diverse foutmeldingen). Ik wil het later nog wel eens weer proberen (om de platformonafhankelijkheid van open source te stimuleren bijvoorbeeld).

Recentelijk de andere weg geprobeerd, namelijk gewoon de database restoren met behulp van de backup (http://data.nlextract.nl/bag/postgis/) zodat je de data direct kunt gebruiken. Na wat gestuntel met postgis was dat toch uiteindelijk gelukt (toch weer vele uren verder).

Ik heb de genomen stappen vastgelegd middels ca 50 afbeeldingen en nu leek het met handig om dat te delen, bijv. in de handleiding op te nemen, op de wiki pagina o.i.d.
Iemand die nieuw is in de PostgreSQL/PostGIS wereld, maar toch kennis heeft van SQL databases kan hiermee binnen redelijke termijn 'up and running' zijn.
Zo ja, waar en hoe aanpakken?

@justb4 justb4 added the bag-extract label Jun 17, 2016

@justb4

This comment has been minimized.

Contributor

justb4 commented Jun 17, 2016

Hallo Geert, Goede vraag en initiatief! Het restoren geldt voor alle dumps die we aanbieden: Top10NL, BGT, BRK en BAG bijv. Zou goed zijn dat in een handleiding te hebben. Is in feite heel generiek denk ik: Postgres+PostGIS op Windows en "een dump" inlezen. 50 afbeeldingen is fors, hoeveel storage plm? We kunnen volgende doen:

Het liefst doe ik het eerste, dat is meest bestendig. Ben je in staat een GitHub Pull Request te doen?

@fsteggink

This comment has been minimized.

Member

fsteggink commented Jun 17, 2016

Tja, de installatie op Windows lijkt een heikel punt te blijven. Dit komt o.a. omdat de installatie van de benodigde software steeds op de schop wordt genomen. Het is bijna iets dat continu aandacht nodig heeft.

Laatst heb ik het op een computer geinstalleerd met als doel de BAG geladen. Hiervan heb ik geen beschrijving gemaaakt. Wel voor Linux (zodat iemand anders er een Puppet-setup van kon maken), maar dat is hier niet van toepassing.
Voor NLExtract zou ik het volgende doen:

  • PostgreSQL installatie
  • PostGIS via de PostgreSQL stack builder
  • Python 2.7.11 installatie
  • Python pip upgraden, i.v.m. installatie psycopg2: python -m pip install --upgrade pip
  • Python-dependencies van Christoph Gohlke: psycopg2, gdal, lxml

Voor de overige basisregistraties moet je ook GDAL installeren. Dit doe ik gewoon door QGIS te installeren. Daarbij krijg je tegenwoordig een recente GDAL-versie (2.0). En dan heb je gelijk een viewer voor je data.

Voor het restoren van de BAG-database hoef je alleen PostgreSQL en PostGIS te installeren.
Restore-commando: pg_restore -d bag -O --role=bag -U postgres d:\Geodata\Netherlands\BAG\bag-2016_06_08.backup
DB en user heten allebei bag.

Ik besef me dat dit allemaal gemakkelijker klinkt dat het in feite is :) Ik ben zelf ook vaak genoeg aan het zoeken geweest. Met name de Python-libraries kunnen soms een verschrikking zijn...

@fsteggink

This comment has been minimized.

Member

fsteggink commented Jun 20, 2016

Geert en ik hebben hierover gechat. De handleiding gaat alleen over het restoren van de database. Ik heb hem wat feedback gegeven op zijn voorstel. Geert probeert dit voor de release van milestone 1.2.0 af te ronden (loop van volgende week) en zal een pull request indienen. Ik zal het reviewen, maar ben waarschijnlijk zelf niet in de gelegenheid om dit binnen nu en een paar weken op een schone machine te testen.
Ik ga de BAG-documentatie ook aanpassen, o.b.v. mijn eigen ervaringen van de laatste tijd. De focus ligt meer op de Python-installatie en het gebruik van de command line voor het restoren van de database of het zelf uitvoeren van een extract.

@fsteggink fsteggink added this to the Versie 1.2.0 milestone Jun 20, 2016

@geertdoornbos

This comment has been minimized.

Contributor

geertdoornbos commented Jul 1, 2016

Met een beetje vertraging PR #190 toegevoegd. Ben benieuwd of het goed gaat met de 'images' folder.
Afbeeldingen zijn in totaal 1MB geoptimaliseerde png's, superklein :)

@fsteggink

This comment has been minimized.

Member

fsteggink commented Jul 4, 2016

Hoi Geert, bedankt voor het aanleveren van de documentatie. Just heeft het pull request al gemerged. Zoals beloofd, heb ik een review uitgevoerd. Kleine tekstuele opmerkingen heb ik gelijk zelf verwerkt in commit 1c81d03.

Ik heb maar één grotere opmerking bij Aanmaken spatial database: in het screenshot staat het vinkje uit bij "Create spatial database". Het is beter om de situatie te tonen vlak voordat de gebruiker op Next klikt. Zou je hiervoor nog een aangepast screenshot kunnen aanleveren?

@fsteggink fsteggink closed this in b40a23b Jul 7, 2016

@fsteggink

This comment has been minimized.

Member

fsteggink commented Jul 7, 2016

Afbeelding zelf bijgewerkt, was kleine moeite.

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment