Skip to content

Commit

Permalink
docs update
Browse files Browse the repository at this point in the history
  • Loading branch information
@justb4
justb4 committed Feb 12, 2020
1 parent dee647f commit 1eda70b
Show file tree
Hide file tree
Showing 9 changed files with 70 additions and 82 deletions.
4 changes: 4 additions & 0 deletions doc/source/algemeen.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -101,4 +101,8 @@ Daartoe zijn in 2014 in NLExtract drie nieuwe NLExtract Services opgestart.
* NLExtract Downloads
* NLExtract Apps

In 2020 zijn de NLExtract Downloads te vinden via https://geotoko.nl.
Veel informatie en voorbeeldbestanden vind je via https://geocatalogus.nl.
De "Ga Naar Bron" links verwijzen nar geotoko.nl.

Lees in het volgende hoofdstuk :ref:`services` meer hierover.
32 changes: 16 additions & 16 deletions doc/source/bagextract.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -2,19 +2,19 @@


***********
Bag-extract
BAG-Extract
***********

Hieronder staat de handleiding voor het gebruik van de tools voor de BAG, NLExtract-BAG of Bag-extract geheten.
Hieronder staat de handleiding voor het gebruik van de tools voor de BAG, NLExtract-BAG of BAG-Extract geheten.

Handleiding Bag-extract
Handleiding BAG-Extract
=======================

Bag-extract is onderdeel van de NLExtract tools voor het inlezen en verrijken van Kadaster BAG
BAG-Extract is onderdeel van de NLExtract tools voor het inlezen en verrijken van Kadaster BAG
(Basisregistratie Adressen en Gebouwen) GML leveringen in (voorlopig) een Postgres/Postgis database.

BAG downloaden
--------------
BAG Bronbestanden downloaden
----------------------------

De BAG Leveringsbestanden (totaal plm 1.5 GB .zip) worden iedere maand ververst en zijn te downloaden via deze
PDOK link: http://geodata.nationaalgeoregister.nl/inspireadressen/atom/inspireadressen.xml (Atom feed).
Expand All @@ -24,14 +24,14 @@ ook de "BAG Amstelveen" (5.6 MB) downloaden. Let wel dat de bestandsstructuur va
BAG PostGIS dumps downloaden
----------------------------

Als je geen zin/tijd hebt om NLExtract-BAG zelf te installeren en te draaien, dan kun je ook direct
PostGIS database en CSV dumps downloaden vanaf http://data.nlextract.nl/bag. Deze worden maandelijks ververst
direct na uitkomen nieuwe BAG-levering.
Als je geen zin/tijd hebt om NLExtract-BAG zelf te installeren en te draaien, dan kun je ook de
PostGIS database en CSV adressen dumps downloaden via https://geotoko.nl.
Deze worden maandelijks ververst direct na uitkomen nieuwe BAG-levering. Een leveringsbijdrage is vereist.

Wat doet Bag-extract?
Wat doet BAG-Extract?
---------------------

Bag-extract biedt de volgende functionaliteiten:
BAG-Extract biedt de volgende functionaliteiten:

- Laden van een Kadaster BAG Extract vanuit Kadaster (.zip GML) levering
- Toepassen van Kadaster BAG mutaties vanuit Kadaster (.zip GML) levering (v1.1.5 en hoger)
Expand All @@ -44,7 +44,7 @@ Bag-extract biedt de volgende functionaliteiten:
- Checkpointing: bijhouden welke bestanden reeds verwerkt t.b.v. herstarts en mutatie-verwerking
- Logging in database zodat gechecked kan worden waar evt fouten zijn en welke bestanden verwerkt

Bag-extract downloaden
BAG-Extract downloaden
----------------------

- download NLExtract, zie laatste versie op: https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nl extract zip.
Expand Down Expand Up @@ -172,7 +172,7 @@ Installatie (Linux)
Installatie (Windows)
---------------------

De installatie van Bag-extract op Windows werd in het verleden gekenmerkt door lastige installaties, vanwege het feit dat open source ontwikkeling op Windows gefragmenteerd plaatsvindt. Tegenwoordig is het een stuk gemakkelijker om Bag-extract aan de praat te krijgen. Als je zelf Bag-extract wilt uitvoeren, voer dan onderstaande beschrijving uit. Voor het gebruiken van de PostGIS-dump, volg dan de instructie die door Geert Doornbos beschikbaar is gesteld (`work in progress <https://github.com/nlextract/NLExtract/issues/186>`_).
De installatie van BAG-Extract op Windows werd in het verleden gekenmerkt door lastige installaties, vanwege het feit dat open source ontwikkeling op Windows gefragmenteerd plaatsvindt. Tegenwoordig is het een stuk gemakkelijker om BAG-Extract aan de praat te krijgen. Als je zelf BAG-Extract wilt uitvoeren, voer dan onderstaande beschrijving uit. Voor het gebruiken van de PostGIS-dump, volg dan de instructie die door Geert Doornbos beschikbaar is gesteld (`work in progress <https://github.com/nlextract/NLExtract/issues/186>`_).

Benodigdheden:

Expand Down Expand Up @@ -210,7 +210,7 @@ Installatie:
- GDAL: voer de installer van QGIS uit. Natuurlijk is niet altijd QGIS nodig, zeker op een server-omgeving. Op een desktop is het wel aan te bevelen, zodat je gelijk het resultaat in de database kunt controleren. Op een server kun je de OSGeo4W-installer gebruiken. Dit is niet getest met NLExtract.

Zie Instellingen_ voor de configuratie en het gebruik van Bag-extract.
Zie Instellingen_ voor de configuratie en het gebruik van BAG-Extract.


Installatie (Mac OSX)
Expand Down Expand Up @@ -256,7 +256,7 @@ Commando
--------

- direct via python "python src/bagextract.py"
- of (Unix,Linux,Mac) via shell script: "bin/Bag-extract.sh"
- of (Unix,Linux,Mac) via shell script: "bin/BAG-Extract.sh"
- Windows: voorlopig alleen via "python src/bagextract.py"

Alle commando's werken onafhankelijk van de plek (directory) waar ze aangeroepen worden
Expand Down Expand Up @@ -284,7 +284,7 @@ Voorbeelden

python src/bagextract.py -h
of
bin/Bag-extract.sh -h
bin/BAG-Extract.sh -h

Alle commando's kunnen via Python of shell .sh script uitgevoerd vanaf elke directory.

Expand Down
12 changes: 6 additions & 6 deletions doc/source/bgtextract.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -2,15 +2,15 @@


***********
Bgt-extract
BGT-extract
***********

Hieronder staat de handleiding voor het gebruik van de tools om BGT te extraheren. Deze tools
heten kortweg ``Bgt-extract`` of soms ``NLExtract-BGT``.
heten kortweg ``Bgt-extract`` of soms ``NLExtract-BGT``.

.. NB: als je alleen interesse hebt om een PostGIS versie van de laatste BGT te hebben, kun
je deze ook downloaden als PostGIS dumpfile via de link http://data.nlextract.nl/bgt/postgis.
De dump file (``.backup`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
NB: als je alleen interesse hebt om een PostGIS versie van de laatste BGT te hebben, kun
je deze ook (betaald) downloaden als PostGIS dumpfile via de link https://geotoko.nl/.
De dump file (``.dump`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
Dan hoef je alle zaken hieronder niet uit te voeren :-).

Om gespecialiseerde extracties bijv naar andere databases zoals Oracle te doen, neem contact op
Expand Down Expand Up @@ -44,7 +44,7 @@ Momenteel (juni 2016) zijn veel bronhouders bezig om de BGT te vullen. De omvang

Als je heel Nederland wilt inlezen, kun je het beste het bestand exclusief plaatsbepalingspunten, GML-variant, gebruiken. Zie PDOK voor de directe link. Deze verandert namelijk iedere dag.

Bgt-extract downloaden
BGT-extract downloaden
----------------------

Vind altijd de laatste versie op: https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip.
Expand Down
8 changes: 4 additions & 4 deletions doc/source/brkextract.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -2,15 +2,15 @@


***********
Brk-extract
BRK-extract
***********

Hieronder staat de handleiding voor het gebruik van de tools om BRK te extraheren. Deze tools
heten kortweg ``Brk-extract`` of soms ``NLExtract-BRK``.

.. NB: als je alleen interesse hebt om een PostGIS versie van de laatste BRK te hebben, kun
je deze ook downloaden als PostGIS dumpfile via de link http://data.nlextract.nl/brk/postgis.
De dump file (``.backup`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
NB: als je alleen interesse hebt om een PostGIS versie van de laatste BRK te hebben, kun
je deze ook (betaald) downloaden als PostGIS dumpfile via de link https://geotoko.nl/.
De dump file (``.dump`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
Dan hoef je alle zaken hieronder niet uit te voeren :-).

Om gespecialiseerde extracties bijv naar andere databases zoals Oracle te doen, neem contact op
Expand Down
6 changes: 3 additions & 3 deletions doc/source/contact.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -16,7 +16,7 @@ https://groups.google.com/group/nlextract
Voor commerciële ondersteuning zoals gespecialiseerde extracties, downloads en andere
services zie: http://www.nlextract.nl/issues of neem contact op met de volgende aanbieders:

* Just van den Broecke - via http://justobjects.nl
* Frank Steggink - via http://steggink.it
* OpenGeoGroep - via http://opengeogroep.nl
* Just van den Broecke - via https://justobjects.nl
* Frank Steggink - via https://steggink.it
* OpenGeoGroep - via https://opengeogroep.nl

2 changes: 1 addition & 1 deletion doc/source/instructie.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -5,7 +5,7 @@ Downloads - Instructie
**********************

Om gebruik te maken van NLExtract data, gedownload via
de `NLExtract Downloads <http://data.nlextract.nl>`_, is
de `Geotoko.nl Website <https://geotoko.nl>`_, is
ondersteunende software nodig. Dit zijn de tools om met de data te kunnen werken.
Hierbij is het uiteraard afhankelijk wat je wilt bereiken. In het algemeen kun je stellen dat de meeste gebruikers
gewoon de data willen gebruiken. Dan volstaat een database dump en uiteraard de database software. Met behulp van
Expand Down
14 changes: 7 additions & 7 deletions doc/source/links.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -6,10 +6,10 @@ Links

Hieronder links naar relevante zaken rond het project.

.. [GDALOGR] GDAL/OGR, http://gdal.org
.. [lxml] lxml, http://lxml.de
.. [Deegree] Deegree, http://www.deegree.org
.. [GeoServer] GeoServer, http://geoserver.org
.. [INSPIRE] INSPIRE, http://inspire.ec.europa.eu/
.. [PostGIS] PostGIS/PostgreSQL, http://postgis.refractions.net
.. [PDOK] PDOK Loket, http://pdok.nl
* NLExtract Downloads via Geotoko.nl - https://geotoko.nl
* NLExtract Downloads Metadata via Geocatalogus.nl - https://geocatalogus.nl
* GDAL/OGR, https://gdal.org
* lxml, https://lxml.de
* INSPIRE, https://inspire.ec.europa.eu/
* PostGIS/PostgreSQL, http://postgis.net/
* PDOK https://pdok.nl
32 changes: 8 additions & 24 deletions doc/source/services.rst
View file
Original file line number Diff line number Diff line change
Expand Up @@ -17,44 +17,28 @@ Daartoe zijn in 2014 in NLExtract twee nieuwe NLExtract Services opgestart.
* NLExtract Downloads
* NLExtract Apps

Sinds februari 2020 zijn de NLExtract Downloads (betaald) te vinden via `geotoko.nl <https://geotoko.nl>`_.
Veel informatie en voorbeeldbestanden vind je op `geocatalogus.nl <https://geocatalogus.nl>`_ .

.. _nlextract-downloads:

NLExtract Downloads
-------------------

De `NLExtract Download Service` is simpel maar direct. Dus geen omwegen met Atom feeds of
eindeloze HTML doorklik-pagina's of zelfs registratie. Alles verloopt via deze basis-link:

http://data.nlextract.nl
De `NLExtract Download Service` wordt verzorgd via `geotoko.nl <https://geotoko.nl>`_.

Onder andere kunnen hier BAG, BRK, BGT en BRT-Top10NL PostGIS dumps worden gedownload. Deze worden
zo snel mogelijk ververst waneer nieuwe versies van betreffende datasets uitkomen.
Normaal gesproken 12x per jaar voor de BAG en BRK-DKK. De BGT wordt maandelijks ververst.
BRT plm 4x per jaar.

In de README bestanden bij de betreffende downloads vind je meer informatie.

Om gebruik te maken van de database dumps bieden we een overzicht om vlot tot een 'up and running' situatie te komen.
Kijk hier voor een :ref:`instructie <instructie>`.

Voor gespecialiseerde downloads, bijv voor andere databases of zeg de BAG per gemeente,
neem :ref:`contact` met ons op!

BAG Downloads
~~~~~~~~~~~~~

Zie http://data.nlextract.nl/bag. Klik daar verder voor PostGIS database dumps of zelfs
CSV bestanden van alle BAG adressen.


Top10NL Downloads
~~~~~~~~~~~~~~~~~

Zie http://data.nlextract.nl/top10nl. Klik daar verder voor PostGIS database dumps.

OpenTopo Downloads
~~~~~~~~~~~~~~~~~~

Zie http://data.nlextract.nl/opentopo. Dit zijn voornamelijk TIFF-bestanden die verder verwerkt moeten
worden. Kijk ook hieronder bij `NLExtract Apps` of deze niet handiger voor je zijn. Webdiensten (Tiling, WMS) voor
OpenTopo kaarten vind je ook via `map5.nl <http://map5.nl>`_.
neem `contact met geotoko.nl <https://geotoko.nl/contact>`_.

NLExtract Apps
--------------
Expand Down
42 changes: 21 additions & 21 deletions doc/source/top10extract.rst
View file
Original file line number Diff line number Diff line change
@@ -1,22 +1,22 @@
.. _top10extract:
.. _TOP10extract:


*************
Top10-extract
TOP10-Extract
*************

Hieronder staat de handleiding voor het gebruik van de tools om TOP10NL te extraheren. Deze tools
heten kortweg ``Top10-extract`` of soms ``NLExtract-TOP10``.
Hieronder staat de handleiding voor het gebruik van de tools om de BRT TOP10NL te extraheren. Deze tools
heten kortweg ``TOP10-Extract`` of soms ``NLExtract-TOP10``.

NB: als je alleen interesse hebt om een PostGIS versie van de laatste TOP10NL te hebben, kun
je deze ook downloaden als PostGIS dumpfile via de link http://data.nlextract.nl/top10nl/postgis.
De dump file (``.backup`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
Dan hoef je alle zaken hieronder niet uit te voeren :-).
NB: als je alleen interesse hebt om een PostGIS versie van de laatste TOP10NL te hebben, kun
je deze ook (betaald) downloaden als PostGIS dumpfile via de link via de link https://geotoko.nl/.
De dump file (``.dump`` bestand) kun je direct inlezen in PostGIS, bijv met ``PGAdminIII``.
Dan hoef je alle zaken hieronder niet uit te voeren :-).

Om gespecialiseerde extracties bijv naar andere databases zoals Oracle te doen, neem contact op
met het NLExtract-team, zie "Ondersteuning": http://www.nlextract.nl/issues.

Handleiding Top10-extract
Handleiding TOP10-Extract
=========================

Algemeen
Expand All @@ -25,39 +25,39 @@ Algemeen
TOP10NL is onderdeel van de Kadaster Basisregistratie Topografie (BRT). Vind algemene info
over TOP10NL op http://www.kadaster.nl/web/artikel/productartikel/TOP10NL.htm.

``Top10-extract`` bevat de tools om de TOP10NL GML-bronbestanden, zoals geleverd door het Kadaster (bijv via PDOK),
om te zetten naar hanteerbare formaten, zoals PostGIS. Tevens bevat Top10-extract visualisatie-bestanden
``TOP10-Extract`` bevat de tools om de TOP10NL GML-bronbestanden, zoals geleverd door het Kadaster (bijv via PDOK),
om te zetten naar hanteerbare formaten, zoals PostGIS. Tevens bevat TOP10-Extract visualisatie-bestanden
(onder de map `style/` ) voor QGIS en SLDs om kaarten te maken. (NB deze zijn nu nog gebaseerd op TOP10NL 1.0!).

TOP10NL (v1.2) wordt geleverd door het Kadaster als een .zip file van plm 2 GB. Voor de landsdekkende
versies zijn er 2 soorten .zip-bestanden, een op basis van kaartbladen en een .zip file op basis van
"GML FileChunks" waarbij de totale GML is opgedeeld in files van 300 MB. Zie `Bestandswijzer_GML_TOP10NL_2012.pdf <https://github.com/nlextract/NLExtract/raw/master/top10nl/doc/Bestandswijzer_GML_TOP10NL_2012.pdf>`_ voor de kaartbladindeling.
"GML FileChunks" waarbij de totale GML is opgedeeld in files van 300 MB. Zie `Bestandswijzer_GML_TOP10NL_2012.pdf <https://github.com/nlextract/NLExtract/raw/master/TOP10nl/doc/Bestandswijzer_GML_TOP10NL_2012.pdf>`_ voor de kaartbladindeling.

Er zijn 13 typen TOP10NL objecten. Zie voor de beschrijving van de structuur en verdere bijzonderheden voor de GML bestandsindeling in
`BRT_Catalogus_Productspecificaties.pdf <https://github.com/nlextract/NLExtract/raw/master/top10nl/doc/1.2/BRT_Catalogus_Productspecificaties.pdf>`_ (nog gebaseerd op versie 1.1.1).
`BRT_Catalogus_Productspecificaties.pdf <https://github.com/nlextract/NLExtract/raw/master/TOP10nl/doc/1.2/BRT_Catalogus_Productspecificaties.pdf>`_ (nog gebaseerd op versie 1.1.1).

TOP10NL downloaden
------------------

TOP10NL brondata in GML kun je via `PDOK TOP10NL Downloads <https://www.pdok.nl/nl/producten/pdok-downloads/basis-registratie-topografie/topnl/topnl-actueel/top10nl>`_ downloaden.
TOP10NL brondata in GML kun je via `PDOK TOP10NL Downloads <https://www.pdok.nl/nl/producten/pdok-downloads/basis-registratie-topografie/topnl/topnl-actueel/TOP10nl>`_ downloaden.

Er zijn twee download varianten: de "GML File Chunks" en "50D Kaartbladen". De eerste is de totale verzameling opgesplitst
in 300MB GML Files, de tweede bevat de GML bestanden per kaartblad. Download de Kaartbladen alleen als je bijv. een enkel
gebied wilt inlezen of om te testen. Beide ZIP-bestanden zijn ca. 2 GB groot. Het is ook mogelijk om de TOP10NL via PDOK-services te downloaden, bijv. via WFS. Het inlezen van deze gegevens via NLExtract wordt niet ondersteund.

Als je heel Nederland wilt inlezen, kun je het beste de "GML File Chunks" gebruiken.
De directe link is http://geodata.nationaalgeoregister.nl/top10nlv2/extract/chunkdata/top10nl_gml_filechunks.zip?formaat=gml.
De directe link is http://geodata.nationaalgeoregister.nl/TOP10nlv2/extract/chunkdata/TOP10nl_gml_filechunks.zip?formaat=gml.

Voor de kaartbladen is dat: http://geodata.nationaalgeoregister.nl/top10nlv2/extract/kaartbladtotaal/top10nl.zip?formaat=gml.
Voor de kaartbladen is dat: http://geodata.nationaalgeoregister.nl/TOP10nlv2/extract/kaartbladtotaal/TOP10nl.zip?formaat=gml.


`NB: het is heel belangrijk om de laatste versie van Top10NL te gebruiken. Dit is versie 1.2.` Deze wordt geleverd
`NB: het is heel belangrijk om de laatste versie van TOP10NL te gebruiken. Dit is versie 1.2.` Deze wordt geleverd
met ingang van november 2015. Alleen deze versie wordt ondersteund door de huidige versie
Top10-extract. Met ingang van deze datum is ook het Kadaster volledig overgeschakeld. De oude
TOP10-Extract. Met ingang van deze datum is ook het Kadaster volledig overgeschakeld. De oude
versies van TOP10NL worden niet meer ondersteund. Mocht je toch de oude versie willen inlezen,
gebruik dan een oude release van NLExtract.

Top10-extract downloaden
TOP10-Extract downloaden
------------------------

Vind altijd de laatste versie op: https://github.com/nlextract/NLExtract/releases. De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip.
Expand All @@ -77,10 +77,10 @@ ogr2ogr. Echter, er zijn 2 belangrijke zaken die dit lastig maken:
- meerdere geometrieën per object, bijv een Waterdeel GML element kan een punt, een lijn of een vlak bevatten
- meerdere voorkomens van een attribuut (attribute multiplicity), bijv. een Wegdeel GML element kan meerdere element-attributen genaamd "nWegnummer" bevatten

Om het eerste probleem op te lossen worden middels een XSLT script (etl/xsl/top10-split_v1_2.xsl) de
Om het eerste probleem op te lossen worden middels een XSLT script (etl/xsl/TOP10-split_v1_2.xsl) de
GML-elementen uitgesplitst naar geometrie, zodat ieder element een enkele geometrie bevat. Bijvoorbeeld
Wegdeel kent maar liefst 5 geometrie-attributen. Dit wordt opgesplitst naar Wegdeel_Lijn, Wegdeel_Vlak etc.
Een nieuw GML-bestand wordt hiermee opgebouwd. Vervolgens wordt via ogr2ogr dit uitgesplitste GML bestand
in PostGIS geladen.

Met ingang van de november-release van de BRT (2015R11) wordt alleen het Stetl-framework ondersteund voor Top10-extract. Zie verder :doc:`stetl-framework` voor de werking van Top10-extract.
Met ingang van de november-release van de BRT (2015R11) wordt alleen het Stetl-framework ondersteund voor TOP10-Extract. Zie verder :doc:`stetl-framework` voor de werking van TOP10-Extract.

0 comments on commit 1eda70b

Please sign in to comment.