Verspreidingskaartjes obv Occurrence cube

[SanderDevisscher]

https://zenodo.org/record/6341688#.YvC31HZByUk

• 1x1km
  - [ ] 5x5km
• 10x10km
• % in speciale bescherming gebied
• % in perimeter rond waterloop
• background layer spa

@damianooldoni is it possible to update the occurrence cube ?

[SanderDevisscher]

@timadriaens plak je hier een voorbeeld van de manageability kaartjes?

[SanderDevisscher]

@bramdhondt @timadriaens een idee voor date cutoffs ?

[SanderDevisscher]

@timadriaens @bramdhondt op de EEA reference grid pagina vind ik het 1x1km (gebruikt voor de cube) en het 10x10km grid. Is dit voldoende of is het cruciaal om de 5x5km stap te voorzien ? In dat geval moet ik o.b.v. het 1x1km een 5x5km maken.

[damianooldoni]

@SanderDevisscher: yes, it is possible to update the cube. I was almost there. I have just to finalize it. I try to do it in the next days, I hope next week.

[SanderDevisscher]

@SanderDevisscher: yes, it is possible to update the cube. I was almost there. I have just to finalize it. I try to do it in the next days, I hope next week.

superb

[bramdhondt]

@SanderDevisscher @timadriaens - Sander, om op je vragen te antwoorden.

• Ik zou de data nemen vanaf 2015, de datum van inwerkingtreding van de verordening ("Deze verordening treedt in werking op 1 januari 2015") (effectieve inwerkingtreding was wel later, met publicatie van de 1ste lijst, maar geen erg). Andere oplossing had geweest te baseren op de T0-rapportage, die uitgaat van 2000, maar dat gaat mijn inziens té ver terug voor de doelstellingen nu.
• Ik zie geen probleem in gebruik van enkel 1-op-1 en, waar nuttig, 10-op-10 (EEA). Het lijkt me niet de moeite nieuwe structuren op te zetten louter om 5-op-5 mogelijk te maken.

[SanderDevisscher]

https://www.eea.europa.eu/data-and-maps/data/eea-reference-grids-2/gis-files/belgium-shapefile/at_download/file

[SanderDevisscher]

https://zenodo.org/record/4299976/files/be_alientaxa_cube.csv?download=1

[bramdhondt]

@jrhillae -- Wat laatste input om de kaartjes af te werken.

• de figuur zelf hoeft geen titel (soortnaam).
• volgens voorlopig ontwerp komt de figuur met een hoogte van 6,4 cm en breedte van 15 cm in het rapport.
• in de bestandsnaam mag plot_ vervallen. De soortnaam alleen is makkelijker om mee te werken in verdere stappen.
• de achtergrond van de provincies mag wat lichter (grijs): #f0f0f0 (RGB: 240, 240, 240)
• de grenzen van de provincies mogen ook een eenheidje dunner
• het groen van Natura 2000 mag: #a4e98f (RGB: 164, 233, 143)

Hieronder een render volgens huidig ontwerp van rapport ! Van zodra klaar, mag je een pull request zetten. Ik pik het van daaruit op.

[bramdhondt]

@jrhillae -- Wat de aanwezigheid van de soorten binnen Natura2000 betreft, stel ik het volgende voor. (I.t.t. eerder bericht, excuses. Laten we het op voortschrijdend inzicht houden.) Wat mij betreft kan dit binnen deze issue, of als nieuwe issue (deze issue dan of te sluiten op de kaartjes).

Ik zie 6 relevante variabelen per soort:

1. Het percentage door de soort bezette hokken dat binnen habitatrichtlijngebied valt (of er gedeeltelijk mee overlapt).
2. Het percentage door de soort bezette hokken dat binnen vogelrichtlijngebied valt (of er gedeeltelijk mee overlapt).
3. Het percentage door de soort bezette hokken dat binnen Natura2000 valt (of er gedeeltelijk mee overlapt). (Natura2000 = unie van habitatrichtlijngebied en vogelrichtlijngebied.) (Doordat sommige locaties binnen beide vallen, is deze variabele niet zomaar de som van de vorige twee variabelen.)
4. Het percentage van het habitatrichtlijngebied dat bezet is door de soort.
5. Het percentage van het vogelrichtlijngebied dat bezet is door de soort.
6. Het percentage van Natura2000 dat bezet is door de soort.

Bemerk dat voor variabelen 4-6 een kunstgreep nodig is: de kaart zal moeten gerasterd worden, volgens hetzelfde 1-km²-raster als van de cube. Van daaruit wordt dan bekeken hoeveel van die cellen ook bezet zijn door de soort. Het betekent dat we wat buiten de randjes kleuren, maar dat lijkt me verdedigbaar.

De variabelen worden best aangeleverd in een tabel (per soort, 6 kolommen voor 6 variabelen). We willen zeker ook eens variabelen 3 en 6 tegenover elkaar uit zetten, over de soorten heen. Dat kan interessant worden.

Indien mogelijk, graag tegen midden volgende week (ong. 10/08).

[timadriaens]

Die oefening is al gebeurd ikv TrIAS dus geen kunstgrepen nodig denk ik. Zie deze dataset op zenodo https://zenodo.org/record/3784227# dus de lijst van km hokken in n2000 is bekend.Yu063qRcIzY. Die groene achtergrond lijkt me ook niet het volledige n2000 te zijn? Persoonlijk denk ik dat n2000, provincies en hoofdwaterlopen genoeg zijn als achtergrond.

[jrhillae]

@bramdhondt : Final spread maps are pushed to this branch. I need to finalize extra calculations before I submit a pull request

[jrhillae]

https://zenodo.org/record/4299976/files/be_alientaxa_cube.csv?download=1

@bramdhondt, @SanderDevisscher : Is this the version of the cube I am supposed to use? For the moment the figures are based on this input, but includes only data until 2020. 2021 is not included. Maybe only the species cube for Belgium (https://zenodo.org/record/3637911#.YvCdmxzP02w) was updated on not the Alien CSI?

[jrhillae]

Die oefening is al gebeurd ikv TrIAS dus geen kunstgrepen nodig denk ik. Zie deze dataset op zenodo https://zenodo.org/record/3784227# dus de lijst van km hokken in n2000 is bekend.Yu063qRcIzY. Die groene achtergrond lijkt me ook niet het volledige n2000 te zijn? Persoonlijk denk ik dat n2000, provincies en hoofdwaterlopen genoeg zijn als achtergrond.

Ik vind in de files op deze link geen lijst terug met km hokken in Natura2000 gebied. Elke SiteCode verwijst naar het Natura2000 gebied zelf. Ik ga hier dus wel zelf mee starten

[bramdhondt]

@jrhillae -- Ok, lijkt me enkel kwestie van de juiste functie te vinden. st_join(Natura2000, vla_1km, left = FALSE) ?

@timadriaens -- "Die groene achtergrond lijkt me ook niet het volledige n2000 te zijn?" Laat weten wat je denkt dat hier ontbreekt. We willen dit juist hebben.

[jrhillae]

@jrhillae -- Ok, lijkt me enkel kwestie van de juiste functie te vinden. st_join(Natura2000, vla_1km, left = FALSE) ?

@timadriaens -- "Die groene achtergrond lijkt me ook niet het volledige n2000 te zijn?" Laat weten wat je denkt dat hier ontbreekt. We willen dit juist hebben.

De finale kaartjes hebben veel meer groen dan het voorbeeld hierboven. Wss is dat van hierboven een tijdelijk kaartje met enkel vogelrichtlijngebied, in data/output/spread_maps ziet het groen er veel uitgebreider uit.

[bramdhondt]

Ja, haha, dat kaartje was mijn eigen inkleuring, he (Paint, t.b.v. het kleurenpallet). :-)

[jrhillae]

Ja, haha, dat kaartje was mijn eigen inkleuring, he (Paint, t.b.v. het kleurenpallet). :-)

ok, dan is dat al opgelost ;)

[jrhillae]

@damianooldoni : Op basis van de GBIF_codes in deze file ('https://raw.githubusercontent.com/inbo/prius/f52fc4e0bb060d5a3d372d1650502602a0a562fd/data/input/prius_species_list.csv') moet ik data selecteren uit de cube. Gebruik ik het beste de alien cube met taxonkeys (https://zenodo.org/record/5819028/files/be_alientaxa_cube.csv?download=1) of de species cube met specieskeys (https://zenodo.org/record/6341688/files/be_species_cube.csv?download=1)? Wat is het verschil precies tussen beide?

Bedankt

[damianooldoni]

De alien cube bevat niet enkel soorten, maar ook subsoorten, varieties ezv. Niet veel, maar toch... De cube bevat ook enkel de taxa in de "unified checklist" (https://www.gbif.org/dataset/6d9e952f-948c-4483-9807-575348147c7e)
De species cube aggregeert, zoals de naam zegt, op soortenniveau en bevat ALLE soorten, niet enkel de exoten.

Aangezien dat ik de alien cube gebruik voor de TrIAS indicatoren, dan kan al genieten van de preprocessing workflow die ik al heb geschreven: zie https://trias-project.github.io/indicators/05_occurrence_indicators_preprocessing.html. De output ervan (te groot voor GitHub) is ons startpunt (en dus ook jullie) voor de berekening van al de indicatoren.

Natuurlijk kan je een soortgelijke workflow toepassen aan de species cube uiteraard.

Ik hoop dat dit helpt.

[jrhillae]

@timadriaens : I found the file: https://github.com/trias-project/indicators/blob/master/data/interim/intersect_EEA_ref_grid_protected_areas.tsv

[damianooldoni]

Yes, @jrhillae, that's a good one and it is the output of this workflow analyzing the presence of IAS in protected areas: https://trias-project.github.io/indicators/10_species_observations_occupancy_in_protected_areas.html

The only point is that this file has not been updated: as you see last commit is from 2020. I should update these very last workflows (about PAs) based on the very last version of the cube as well.

[damianooldoni]

I was wrong in my last comment, this morning. The file pointed out by @jrhillae in previous comment didn't change after updating the cube as it is the intersection of the EEA 1kmx1km grid with the Natura2000 proteced areas. It's actually the output of this workflow: https://trias-project.github.io/indicators/09_define_overlay_grid_belgium_with_protected_areas.html
I was also wrong when I said that I didn't update these very last workflows related to protected areas: I did it actually! 💪

What I have to do now is to update the data deposited at zenodo: https://zenodo.org/record/3784227.

[jrhillae]

I was wrong in my last comment, this morning. The file pointed out by @jrhillae in previous comment didn't change after updating the cube as it is the intersection of the EEA 1kmx1km grid with the Natura2000 proteced areas. It's actually the output of this workflow: https://trias-project.github.io/indicators/09_define_overlay_grid_belgium_with_protected_areas.html I was also wrong when I said that I didn't update these very last workflows related to protected areas: I did it actually! 💪

What I have to do now is to update the data deposited at zenodo: https://zenodo.org/record/3784227.

Good job Damiano!

[jrhillae]

@damianooldoni , @bramdhondt @SanderDevisscher : A few species are only present in species cube and not alien cube: gewone gunnera, marmerkreeft, gevlekte rivierkreeft and Afghaanse duizendknoop. For at least two of them, this is because they are not mentioned in the unified checklist. Therefore we will base the spread maps on the species cube. @damianooldoni: can the species cube also be used as input for the preprocessing of the TRIAS indicators? (if I rename the columnheaders correctly?)

[damianooldoni]

Well, the idea behind is exactly the same, yes. You will end up with slightly simplified workflows even as we don't have to take care about other taxon ranks except species.

[jrhillae]

@bramdhondt, @SanderDevisscher : a short summary

1. spread maps:

• Code is normally ok. You could review this for mistakes (script is here).
• Output Maps are located here
• Species present and species not present are listed here.
• Taxonkeys not present are listed here.
• Remark: the species cube was to heavy to push to the git. This will give an error when running the script. I needed to download it locally (making connection with zenodo within the script was too slow). So maybe best to download the most recent version of the species cube and put it in the folder data/input before running it?

2. Sporadic species:

• Code is normally ok. You could review this to be sure (script is here).
• Output is here

3. Natura2000:

• Code is here. Would it be possible to carefully check this code? And also check if I interpreted the columnheaders ('% in' versus 'bezet') correctly? The natura2000 - EEA ref grid overlay is based on the file of Damiano.
• Output file is here

If you have no further remarks on the code or output I can perform a pull request.

[bramdhondt]

@jrhillae -- Ziet er allemaal zeer goed uit. Bedankt voor het uitstekende overzicht.

Ik heb de volgende wijzigingen aangebracht:

1. in script van de kaartjes heb ik je opmerking gezet van de zware species cube. Zo worden we herinnerd aan je voorgestelde aanpak om de cube in de input-folder te plaatsen alvorens te runnen.
2. in script van de sporadische soorten heb ik workflow ingewerkt om alle data overheen de soorten weg te schrijven. Zie hier voor output.

De output inzake Natura2000 ziet er allemaal logisch uit (alles volgens verwachtingen, geen rare zaken), dus ik vertrouw er voorlopig op dat het script juist zit.

Je kan overgaan tot een pull request. Het volstaat om mij als reviewer aan te duiden.

We weten dat er nog enkele specifieke zaken scheef zitten (bv. Vespa, Ameiurus...), maar dat doe ik liever later. Ik wil nu eerst het rapport voeden.