AHN verwerking, performance

[jipclaassens]

Mails van BB:

Het is gelukt om op basis van een bestandskaartblad-lijst een raster_merge te doen

Alleen het runde wel 17 uur in 18.2.2.
Gaat dus om 1373 bestanden die zowel geresampled worden als gemerged worden.
De resample mean actie (0.5 mtr à 50mtr) duurt iets van 5 uur.
Dus de merge heeft iets van 12 uur gedaan terwijl dit in QGIS 45 minuten was.

Is jouw beeld ook dat raster_merge wat traag is?
Zal union_unit en union_data sneller zijn?

[jipclaassens]

@basvanbemmel ik zal jouw vraag oppakken vanwege tijdsgebrek van @eoudejans

[jipclaassens]

Eerste bevinding, lezen van AHN bladen hebben inefficiente tiling:

Tilesize mismatch -> GridData: 10000, 1 and GeoDMS tiling 256, 256.

[jipclaassens]

Waarschijnlijk het grootste probleem: de mismatch tussen de TIF-strip tiling en GeoDMS's interne 256×256 tiling wat een extreme I/O overhead veroorzaakt.

AHN TIF-structuur per kaartblad (5km × 5km bij 0.5m):

• 10.000 × 10.000 pixels
• Opgeslagen als 10.000 strips van 10.000 × 1 pixels (40KB per strip)

GeoDMS leest per interne 256×256 tile:

• Heeft rijen y t/m y+256 nodig → 256 volledige strips van 10.000px
• Gebruikt daaruit maar 256 × 256 = 65.536 pixels
• Data-amplificatie per tile: ×41 (2.56M gelezen, 65K gebruikt)

Per kaartblad:

• 40 × 40 = 1.600 interne tiles
• Elke strip wordt 40× gelezen (één keer per x-kolom van tiles)
• Werkelijk data: 400MB — Gelezen data: ~16GB

Voor 1.300 kaartbladen:

	Reads
QGIS (rij-gebaseerd, 1× per strip)	~520 GB
GeoDMS (256×256 vs. 10000×1)	~21 TB

Bij ~500 MB/s SSD: QGIS ~17 min, GeoDMS ~12 uur. De rest van het verschil (45 min vs. 16 uur) zit in processing

Oplossing: converteren naar tiled GeoTIFF door eenmalig de bronbestanden omzetten naar intern 256×256 getiled formaat, e.g. via OSGeo4W Shell (bij mij is dit 10 sec per tile).

gdal_translate -co TILED=YES -co BLOCKXSIZE=256 -co BLOCKYSIZE=256 -co COMPRESS=DEFLATE input.tif output_tiled.tif

Dan leest GeoDMS elke 256×256 block precies één keer -> I/O-overhead verdwijnt vrijwel volledig.

Of dit in een .bat file stoppen en openen met osgeo (wel even jouw paden goed zetten):

mkdir E:\SourceData\AHN\AHN2\DTM_tiled 2>nul
for %%f in (E:\SourceData\AHN\AHN2\DTM\*.tif) do (
    echo Processing %%~nxf
    gdal_translate -co TILED=YES -co BLOCKXSIZE=256 -co BLOCKYSIZE=256 -co COMPRESS=DEFLATE -co PREDICTOR=3 "%%f" "E:\SourceData\AHN\AHN2\DTM_tiled\%%~nxf"
)

Overigens, dit maakt de filesize ook gelijk heel veel kleiner! Voor 'volle' tiles meer dan 2x zo klein.

[jipclaassens]

Daarnaast heb ik jouw script aangepast met lazycalculated, phasecontainer, en int16. Dat zou het ook allemaal efficienter moeten maken (download m hier, als txt. Je moet de extensie hernoemen naar .dms; github staat geen dms bestanden toe....)

resample_05mtr_to_50mtr_ahn.txt

[jipclaassens]

@basvanbemmel @eoudejans

• Als ik het voor 14 tiles uitvoer, duurt het 4.48 min.
• Als ik eerst die 14 tiles retile via OSGeo à 12 sec per stuk en daarna de raster-merge opvraag, is het 4 sec.

[jipclaassens]

Je kunt die retile ook parallel doen, die 14 tiles zijn dan opeens allemaal binnen 10 sec klaar.

1. Check je PowerShell-versie: pwsh --version in een cmd. Krijg je een error? Dan heb je geen PowerShell 7. Installeer via winget install Microsoft.PowerShell.
2. Maak een bestandje retile.ps1 met onderstaand script daarin (met de juiste paden natuurlijk).
3. Open PowerShell 7 via start
4. Zet je OSgeo GDAL pad goed met $env:PATH = "C:\Program Files\QGIS 3.40.7\bin;" + $env:PATH (verander natuurlijk even het pad naar jouw qgis installatie).
5. En dan daarna verwijs je naar je gemaakte retile.ps1 bestand, via bv cd.., oid tot je bij de juiste locatie bent.

$inputDir = "H:\AHN2\DTM"
$outputDir = "H:\AHN2\DTM_tiled"
New-Item -ItemType Directory -Force -Path $outputDir | Out-Null

Get-ChildItem -Path $inputDir -Filter *.tif | ForEach-Object -Parallel {
    $output = Join-Path $using:outputDir $_.Name
    & gdal_translate -co TILED=YES -co BLOCKXSIZE=256 -co BLOCKYSIZE=256 -co COMPRESS=DEFLATE -co PREDICTOR=3 $_.FullName $output
} -ThrottleLimit 12

[jipclaassens]

Alle tiles retile (van AHN4) op een HDD (dus slechts een read van 150mbs) duurde een uurtje. Let op een SSD heeft een read van zon 3500mbs. Dus zal veel sneller gaan.

Vervolgens de resample voor heel Nederland was 10 min.

[jipclaassens]

Zonder de PhaseContainers even lang even veel geheugen.

[jipclaassens]

TiledUnit creeren om aan te sluiten bij die stripe tifs lost het niet op, dan duurt het alsnog 5 min voor slechts 14 tiles.