-
-
Notifications
You must be signed in to change notification settings - Fork 83
/
VERSIES
310 lines (214 loc) · 10.5 KB
/
VERSIES
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
Dit bestand bevat versie informatie voor NLExtract.
Versies en snapshots zijn te downloaden
via de link: https://github.com/nlextract/NLExtract/releases.
De nieuwste versie staat bovenaan: kies de "real-release" nlextract zip.
De rest ligt nog open afhankelijk van wensen gebruikers en natuurlijk eventuele bugs.
v1.5.6 - 8 aug 2024
Leftovers van vorige versies.
Zie de Milestone voor deze versie:
https://github.com/nlextract/NLExtract/milestone/19
vnl upgrades:
- Stetl submodule,
- Dockerfile: Ubuntu 24.04, Python 3.12, GDAL 3.9.1
v1.5.5 - 25 apr 2024
* Fixes op 1.5.4
* BRK-DKK: ETL upgrade v4 naar v5 en GfsPreparationFilter tbv optimalisatie.
* Verbeterde/moderne Dockerfile gebaseerd op osgeo/gdal:ubuntu-small-3.8.4 image (Ubuntu 22.04 LTS)
* BGT: BGT Lean SQL script voor slankere BGT oa geen "bogen", 1 geometrie per tabel, geen overhead kolommen
* BAG: CBS Gemeente provincie koppeling 2024
Zie de closed issues voor deze versie:
https://github.com/nlextract/NLExtract/milestone/15?closed=1
v1.5.4 - 9 jan 2023
Vnl fixes op 1.5.3 en daarvan meeste voor BAG versie 2 ETL.
Bijvoorbeeld om (onderhoud van) gemeente-provincie koppelingen gelijk als in BAGv1 te doen.
Met dank aan @sebastic
Zie de closed issues voor deze versie:
https://github.com/nlextract/NLExtract/milestone/18?closed=1
v1.5.3 - 22.dec.2021
Vnl fixes op 1.5.2 en daarvan meeste voor BAG versie 2 ETL.
Zie de closed issues voor deze versie:
https://github.com/nlextract/NLExtract/milestone/17?closed=1
v1.5.2 - 31.mrt.2021
Nieuwe/aparte BAG versie 2 ETL op basis Stetl.
Tevens Dockerfile en build-push-on-commit naar DockerHub.
Werkt voorlopig alleen/beste met Docker (hoge/laatste GDAL versie nodig).
Verder kleine fixes voornamelijk voor BAG (v1), zie Milestone:
https://github.com/nlextract/NLExtract/milestone/16?closed=1
v1.5.1 - 2.jan.2021
Voornamelijk BAG update gemeente-koppelingen voor gem. herindelingen 2021
via PR #294 door @sebastic.
Zie Milestone:
https://github.com/nlextract/NLExtract/milestone/14?closed=1
v1.5.0 - 23.okt.2020
Voornamelijk Py2 naar Py3 migratie via
PR #276 (BAG, door @sebastic) en #265 (overige basisregistraties, door @justb4)
Verder: BRK Kadastrale Kaart (DKK) ETL: upgrade voor BRK-DKK v4
Zie Milestone:
https://github.com/nlextract/NLExtract/milestone/12
v1.4.0 - 17.feb.2020
Zie Milestone:
https://github.com/nlextract/NLExtract/milestone/11?closed=1
Algemeen
Vervang referenties aan http://www.nlextract/file-cabinet (link rot) bag-extract documentation enhancement
#274 by reinvantveer was merged on Dec 20, 2019 • Approved
BAG
BAG: neem verkorteopenbareruimtenaam op in adres-dumps bag-extract
#273 by justb4 was closed on Jan 11 2020
Update gemeente-provincie koppeling voor 2019. bag-extract
#255 by sebastic was merged on Oct 18, 2018
Timestamp with timezone in postgres bag-extract bgt-extract brk-extract top10-extract
#223 by arjennienhuis was closed on Mar 7, 2018
Set 'actueel' views use now() instead of localtime bag-extract
#243 by borrob was merged on Mar 4, 2018
BAG Identifier velden als strings in DB opnemen bag-extract
#108 by justb4 was closed on Feb 5, 2018
BAG identifiers naar 16 char strings bag-extract
#236 by borrob was merged on Feb 2, 2018
Bag timezone bag-extract
#233 by borrob was merged on Jan 23, 2018
update bronhouders per 2018-01-01 bag-extract
#230 by leonmvd was merged on Dec 11, 2017
BGT
Nieuwe bronhouders bgt per januari 2019 bgt-extract
#261 by leonmvd was merged on Dec 15, 2018
Update bronhouders.csv bgt-extract
#254 by leonmvd was merged on Oct 1, 2018
Regressie-issue openbareruimtelabels bgt-extract
#240 by fsteggink was closed on Apr 23, 2018
Verwijderen bestaande input bij BGT import bgt-extract
#205 by skinkie was closed on Mar 8, 2018
Onderscheid geometrietypen? bgt-extract
#163 by fsteggink was closed on Mar 1, 2018
BGT Extract: Error verwijderen .gfs bgt-extract
#226 by justb4 was closed on Mar 1, 2018
BGT: 2d suffix van tabellen weghalen bgt-extract
#237 by fsteggink was closed on Feb 8, 2018
CURVEPOLYGON in BGT-dump bgt-extract
#222 by arjennienhuis was closed on Jan 31, 2018
Nummeraanduidingen in BGT hebben geen verwijzing meer naar pand bgt-extract
#225 by fsteggink was closed on Jan 31, 2018
Bgt timezone
#234 by borrob was merged on Jan 28, 2018
BRT - TOP10NL
top10nl: importeerd niet alle objecten top10-extract
#232 by VNuhaan was closed on Jan 24, 2018
v1.3.0 - 6.nov.2017
Zie Milestone:
https://github.com/nlextract/NLExtract/milestone/9
Issues solved:
BAG
#218 extra velden BAG adres tabel en in CSV dump bag-extract
#224 extra velden BAG adres tabel en in CSV dump en geocoderen van CSV bestanden bag-extract
#92 Laden van BAG views duurt lang in QGis bag-extract
BGT
#210 Lokale wijziging Stetl xmlelementreader.py op data.nlextract.nl? bgt-extract
#211 BGT verwerking crash
#221 Volledig extract BGT/BRK gebruiken ipv tiles bgt-extract brk-extract
BRK
#221 Volledig extract BGT/BRK gebruiken ipv tiles bgt-extract brk-extract
#204 Gewijzigde download BRK brk-extract
#213 BRK ETL fixen voor nieuwe PDOK Downloads per 1.1.17 brk-extract
v1.2.1 - 17.okt.2016
Dit is een bugfix release voor 1.2.0.
Zie de closed issues voor deze Milestone "Versie 1.2.1" op GitHub:
https://github.com/nlextract/NLExtract/milestone/10
v1.2.0 - 5.okt.2016
Wat zit in deze release? Heel veel!
Zie de 62 (!) closed issues voor deze Milestone "Versie 1.2.0" op GitHub:
https://github.com/nlextract/NLExtract/milestone/8
v1.1.4 - 9.jan.2014
Werd weer tijd, veel fixes, ook veel via Pull requests, dank! Features in:
#107 BAG Datumtijd kolommen moeten ook decimale seconden meenemen bag-extract
#105 (Her)gebruik database connecties in BAG Extract bag-extract
#102 Nevenadressen moeten meegenomen in genereren adres tabel bag-extract
#101 BAG - CSV gemeente-provincie koppeling van CBS upgrade van 2012 naar 2013 bag-extract
Pull request (Sebastic) tevens upgrade gemeente-provincie koppeling van CBS voor 2014
#99 Indexen op BAG tabellen bag-extract
#96 Reverse geocoding functies zijn out-of-date bag-extract
#95 Ondersteun PostgreSQL schema voor TOP10NL top10-extract
#94 Multipliciteit namen in TOP10NL niet altijd gewenst top10-extract
#89 Mysql bag-extract
#7 top10-extract.sh - uitgebreidere cmd args en functionaliteit top10-extract
Bonne bladen scripts
v1.1.3 - 13.dec.2012
Aantal bugfixes op 1.1.2 en verbeteringen in het algemeen.
Zie milestone issues die in deze release zitten:
https://github.com/nlextract/NLExtract/issues?milestone=6&state=closed
Onder andere:
Features
- Gebruik gemeente-woonplaats koppeltabel uit BAG Levering ipv .csv bag-extract
- Adressen met full text index - fuzzy zoeken in tabel "adres" met PostgreSQL tsvector
Bugs opgelost
- BAG documentdatum is altijd null door typefout in bagattribuut.py (bug)
- probe_geometry_columns niet aanroepen indien PostGIS 2.x
v1.1.2 - 16.okt.2012
De issues (werk-items) voor deze release zijn hier te vinden:
https://github.com/nlextract/NLExtract/issues?milestone=5&state=closed
Algemeen
- begin gemaakt documentatie op http://nlextract.readthedocs.org
BAG Extract
- bag-extract.sh werkt niet wanneer aangeroepen via symbolic link (patch) bag-extract
- Einddatum gemeente wordt niet verwerkt bag-extract
- adres script: gebruik woonplaatsnaam uit nummeraanduiding indien aanwezig bag-extract
- probe_geometry_columns niet meer in PostGIS2?
- woonplaats-gemeente koppeltabel .csv naar versie van 10 aug 2012
Top10NL Extract
- alle scripts in Python (ipv shell en .cmd)
- ondersteun nieuwste versie Top10NL 1.1.1
- Voeg XML validator toe voor Top10NL v1.1.1 top10-extract
- Top10NL: verwijder dashes '-' uit Python .py file namen top10-extract
- Top10NL: voeg test data en tests toe voor Top10NL versie 1.1.1 top10-extract
- Top10NL: Er worden geen GFS-bestanden bij verwerking van de september-levering bag-extract
- Vervanging e-trema door normale 'e' in Overigrelief top10-extract
- Opsplitsen naam / straatnaam kolommen in Nederland en Fries top10-extract
v1.1.1 - 20.juni.2012
Vooral bugfixes in BAG-Extract. Top10NL en BGT extractie uitstellen tot v1.1.2
De gesloten issues zijn hier te vinden:
https://github.com/nlextract/NLExtract/issues?milestone=4&page=1&state=closed
Samengevat:
- bugfix waardoor in v1.1.0 multipolygons voor woonplaatsen null waren
- geovlak toevoegen aan VIEWs voor Verblijfsobject
- warnings weg voor diacritische chars (unicode probleem)
- postgresql port parm ignored
v1.1.0 - 14.mei.2012
Speedup release voor BAG: nu BAG 3x zo snel inlezen als in v1.0.1!
Voornamelijk door gebruik native XML parsing (via lxml) en database inladen via COPY
ipv INSERT kan BAG inlezen 3x zo snel als voorheen. Er zijn wel wat externe afhankelijkheden
bijgekomen:
- lxml en libxml2 (native XML parser lib)
- GDAL met Python bindings: Geometrie GML parsen en geometrie validatie/manipulatie (lukt niet in COPY)
Sowieso is GDAL met OGR Python-bindings een goede stap voor volgende NLExtract versies.
Dit is de eerste versie die GitHub Milestones gebruikt. De naam vd Milestone is het versie nummer (hier v1.1.0).
Zie https://github.com/nlextract/NLExtract/issues/milestones?state=closed
Alle issues die meegenomen zijn vind je hier:
https://github.com/nlextract/NLExtract/issues?milestone=1&state=closed
Specifieke issues opgelost in v1.1.0
- BAG: vervangen woonplaats-gemeente koppeltabel 6 maart 2012 door 24 april 2012
- BAG: relaties einddatumtijdvakgeldigheid en actuele VIEWS ontbreken
- Mutaties: fout by DB COPY
- BAG escape backslashes in strings voor Postgres COPY
- gebruik GDAL/OGR Python bindings voor Geometrie parsing/validatie
- BAG inlezen: gebruik COPY en cStringIO voor grote snelheidswinst
- Geocoding functionaliteit op basis van BAG
- adres-tabel.sql DROP ... CASCADE?
- adres_voor_xy roept zichzelf aan ipv adressen_voor_xy
- BAG MultiSurface wordt niet goed geparsed met XPath
- Gewijzigd schema Kadaster CSV woonplaats-gemeente koppeltabel
- BAG - LATIN1 encoding gebruikt voor UTF-8 prov/gem CSV
- Poort -P parameter wordt niet geparsed
- etree (native XML parsing via libxml2)
- BAG Foutafhandeling en validatie met logging in datab
v1.0.1 - 5.mrt.2012
- BAG: laatste versie voor performance boost door native LXML/Etree XML-parsing!
- minor fixes
- BAG nieuwste (24jan2012) kadaster-woonplaats-gemeente koppeltabel
- BAG: LATIN1/UTF-8 encoding issues opgelost, nu alle bronnen/doelen UTF-8
- start met SQL scripts tbv reverse geocoding op Adres tabel
v1.0.0 - 27.feb.2012
- de allereerste versie !
- extraheren BAG en Top10NL
- verrijking BAG met gemeenten/provincies
- afgeleide BAG tabellen zoals ACN-achtige adressen
- visualisaties Top10NL voor met name QGIS
Nog veel oudere versies zijn te vinden op:
https://github.com/MinIenM/BAG-Extract