feat(datasets): add OGVI and Antarctic Ice Sheet Gravimetric Mass Bal…

…ance layers (#975)

data/gdal-colors/colors-dm.txt

@@ -0,0 +1,4 @@
+-5000 255 0 0
+0 255 255 255
+5000 0 0 255
+nv 0 0 0 0

data/gdal-colors/colors-ogvi.txt

@@ -0,0 +1,6 @@
+1 0 25 0
+0.71 54 87 1 255
+0.37 79 168 75 255
+0.19 204 180 112 255
+0 204 180 124 0
+nv 0 0 0 0

data/layers-config.json

@@ -318,5 +318,20 @@
       "month": "long"
     },
     "legendValues": ["35 °C", "-5"]
+  },
+  "ice_sheets_antarctica.dm": {
+    "colorMap": "custom",
+    "timeFormat": {
+      "year": "numeric",
+      "month": "long"
+    }
+  },
+  "ogvi.ogvi": {
+    "colorMap": "custom",
+    "timeFormat": {
+      "year": "numeric",
+      "month": "long",
+      "day": "numeric"
+    }
   }
 }

data/split-time-dim.py

@@ -16,6 +16,18 @@
 for n in range(len(da.time)):
   da_slice = da.isel(time=n)
   date = pd.to_datetime(str(da_slice.time.values))
+
+  time = da_slice.time.values
+  da_slice = da_slice.drop_vars('time')
+  da_slice = da_slice.expand_dims({'time': [time]})
+
+  print(da_slice.coords)
+  print(da_slice.dims)
+
   filename = date.strftime('%s/%%Y%%m%%d.nc' % (args.folder))
   print(filename)
-  da_slice.to_dataset().to_netcdf(filename, format='NETCDF4', mode='w')
+  new_ds = da_slice.to_dataset()
+  new_ds = new_ds.assign_attrs(ds.attrs)
+  new_ds = new_ds.assign(crs=ds.crs)
+  new_ds = new_ds.assign(spatial_ref=ds.crs)
+  new_ds.to_netcdf(filename, format='NETCDF4', mode='w')

data/tif2netcdf.py

@@ -1,5 +1,8 @@
+from datetime import time
 import xarray as xr
 import rasterio
+import pandas as pd
+import re
 from argparse import ArgumentParser
 
 parser = ArgumentParser()
@@ -10,4 +13,12 @@
 
 da = xr.open_rasterio(args.file)
 ds = da.to_dataset(name=args.variable)
-ds.to_netcdf(args.output, format='NETCDF4', mode='w')
+
+timestamp = re.search("(\d+).tif$", args.file).group(0)
+timestamp = timestamp[0:4] + '-' + timestamp[4:6] + '-' + timestamp[6:8]
+new_time = pd.to_datetime([timestamp])
+ds = ds.expand_dims(dim={'time': new_time}, axis=0)
+
+comp = dict(zlib=True, complevel=5)
+encoding = {var: comp for var in ds.data_vars}
+ds.to_netcdf(args.output, format='NETCDF4', mode='w', encoding=encoding)

data/triggers/aerosol_aod550_mean.sh

@@ -4,7 +4,7 @@ TIMEOUT=4000
 LAYER_ID="aerosol.AOD550_mean"
 VARIABLE_ID="AOD550_mean"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="360"
 LAT_RES="180"
 ZOOM_LEVELS="0-3"

data/triggers/cloud_cfc.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="cloud.cfc"
 VARIABLE_ID="cfc"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="720"
 LAT_RES="360"
 ZOOM_LEVELS="0-3"

data/triggers/fire_burned_area.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="fire.burned_area"
 VARIABLE_ID="burned_area"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="1440"
 LAT_RES="720"
 ZOOM_LEVELS="0-3"

data/triggers/greenhouse_xch4.sh

@@ -4,7 +4,7 @@ TIMEOUT=3000
 LAYER_ID="greenhouse.xch4"
 VARIABLE_ID="xch4"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="180"
 LAT_RES="90"
 ZOOM_LEVELS="0-2"

data/triggers/greenhouse_xco2.sh

@@ -4,7 +4,7 @@ TIMEOUT=3000
 LAYER_ID="greenhouse.xco2"
 VARIABLE_ID="xco2"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="180"
 LAT_RES="90"
 ZOOM_LEVELS="0-2"

data/triggers/ice_sheets_antarctica_dm.sh

@@ -0,0 +1,30 @@
+#!/usr/bin/env bash
+
+TIMEOUT=2000
+LAYER_ID="ice_sheets_antarctica.dm"
+VARIABLE_ID="dm"
+LAYER_TYPE="image"
+VERSION="1.2.1"
+ZOOM_LEVELS="0-3"
+MIN_LON="-180"
+MAX_LON="180"
+MIN_LAT="-90"
+MAX_LAT="90"
+MIN="-5000"
+MAX="5000"
+SOURCE_PROJECTION="EPSG:3031"
+SOURCE_MIN_X="-2925000"
+SOURCE_MAX_X="2925000"
+SOURCE_MIN_Y="-2425000"
+SOURCE_MAX_Y="2425000"
+
+if [ ! -f ./package.json ]; then
+    echo "You have to be in the root folder of the project to run this script!"
+    exit 1
+fi
+
+gcloud --project esa-climate-from-space builds submit \
+  --config ./ci/cloudbuild-tiles-reproject.yaml \
+  --timeout=$TIMEOUT \
+  --substitutions _LAYER_ID=$LAYER_ID,_VARIABLE_ID=$VARIABLE_ID,_ZOOM_LEVELS=$ZOOM_LEVELS,_LAYER_TYPE=$LAYER_TYPE,_VERSION=$VERSION,_MIN=$MIN,_MAX=$MAX,_MIN_LON=$MIN_LON,_MAX_LON=$MAX_LON,_MIN_LAT=$MIN_LAT,_MAX_LAT=$MAX_LAT,_SOURCE_PROJECTION=$SOURCE_PROJECTION,_SOURCE_BOUNDS=$SOURCE_BOUNDS,_SOURCE_MIN_X=$SOURCE_MIN_X,_SOURCE_MAX_X=$SOURCE_MAX_X,_SOURCE_MIN_Y=$SOURCE_MIN_Y,_SOURCE_MAX_Y=$SOURCE_MAX_Y \
+  .

data/triggers/lakes_chla_mean.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="lakes.chla_mean"
 VARIABLE_ID="chla_mean"
 LAYER_TYPE="tiles"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="43200"
 LAT_RES="21600"
 ZOOM_LEVELS="0-3"

data/triggers/land_cover_lccs_class.sh

@@ -4,7 +4,7 @@ TIMEOUT=24000
 LAYER_ID="land_cover.lccs_class"
 VARIABLE_ID="lccs_class"
 LAYER_TYPE="tiles"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="64800"
 LAT_RES="32400"
 ZOOM_LEVELS="0-5"

data/triggers/ogvi_ogvi.sh

@@ -0,0 +1,29 @@
+#!/usr/bin/env bash
+
+TIMEOUT=30000
+LAYER_ID="ogvi.ogvi"
+VARIABLE_ID="ogvi"
+LAYER_TYPE="tiles"
+VERSION="1.2.1"
+LON_RES="51103"
+LAT_RES="25552"
+ZOOM_LEVELS="0-4"
+MIN_LON="-180"
+MAX_LON="180"
+MIN_LAT="-90"
+MAX_LAT="90"
+MIN="0"
+MAX="1"
+MACHINE_TYPE="N1_HIGHCPU_32"
+
+if [ ! -f ./package.json ]; then
+    echo "You have to be in the root folder of the project to run this script!"
+    exit 1
+fi
+
+gcloud --project esa-climate-from-space builds submit \
+  --config ./ci/cloudbuild-tiles-reproject.yaml \
+  --machine-type=$MACHINE_TYPE \
+  --timeout=$TIMEOUT \
+  --substitutions _LAYER_ID=$LAYER_ID,_VARIABLE_ID=$VARIABLE_ID,_ZOOM_LEVELS=$ZOOM_LEVELS,_LAYER_TYPE=$LAYER_TYPE,_LON_RES=$LON_RES,_LAT_RES=$LAT_RES,_VERSION=$VERSION,_MIN=$MIN,_MAX=$MAX,_MIN_LON=$MIN_LON,_MAX_LON=$MAX_LON,_MIN_LAT=$MIN_LAT,_MAX_LAT=$MAX_LAT \
+  .

data/triggers/ozone_total_ozone_column.sh

@@ -4,7 +4,7 @@ TIMEOUT=12000
 LAYER_ID="ozone.total_ozone_column"
 VARIABLE_ID="total_ozone_column"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="720"
 LAT_RES="360"
 ZOOM_LEVELS="0-3"

data/triggers/permafrost_pfr.sh

@@ -4,7 +4,7 @@ TIMEOUT=2000
 LAYER_ID="permafrost.pfr"
 VARIABLE_ID="PFR"
 LAYER_TYPE="tiles"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="36366"
 LAT_RES="18182"
 ZOOM_LEVELS="0-4"

data/triggers/sea_ice_nh_ice_conc.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="sea_ice_nh.ice_conc"
 VARIABLE_ID="ice_conc"
 LAYER_TYPE="tiles"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="2444"
 LAT_RES="496"
 ZOOM_LEVELS="0-3"

data/triggers/sea_ice_sh_ice_conc.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="sea_ice_sh.ice_conc"
 VARIABLE_ID="ice_conc"
 LAYER_TYPE="tiles"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="2444"
 LAT_RES="496"
 ZOOM_LEVELS="0-3"

data/triggers/sea_level_sla.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="sea_level.sla"
 VARIABLE_ID="sla"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="1440"
 LAT_RES="720"
 ZOOM_LEVELS="0-3"

data/triggers/sea_state_swh_mean.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="sea_state.swh_mean"
 VARIABLE_ID="swh_mean"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="360"
 LAT_RES="180"
 ZOOM_LEVELS="0-3"

data/triggers/snow_swe.sh

@@ -4,7 +4,7 @@ TIMEOUT=8000
 LAYER_ID="snow.swe"
 VARIABLE_ID="swe"
 LAYER_TYPE="image"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LON_RES="1440"
 LAT_RES="720"
 ZOOM_LEVELS="0-3"

data/triggers/sst_analysed_sst.sh

@@ -3,7 +3,7 @@
 TIMEOUT=24000
 LAYER_ID="sst.analysed_sst"
 VARIABLE_ID="analysed_sst"
-VERSION="1.1.1"
+VERSION="1.2.1"
 LAYER_TYPE="image"
 LON_RES="2048"
 LAT_RES="1024"

storage/layers/layers-de.json

@@ -159,5 +159,19 @@
     "name": "Temperatur des Oberflächenwassers im See",
     "shortName": "Seen",
     "description": "Lake surface water temperature (LSWT) is the temperature of the surface lake waters as seen from space in infrared wavelengths. LSWT can be derived when the lake surface water is not obscured by ice cover or clouds. Lakes cover less than 1% of Earth’s land area, but lakes and their shores contribute disproportionately to biodiversity and human flourishing. Obvious features in the LSWT are the large annual cycle in temperature in higher latitudes, and the important patterns of temperature contrast across individual lakes, especially large ones. Lakes and the ecosystems they support interact sensitively with climate, and LSWT gives insight into which lakes are vulnerable to shifts of behaviour that could undermine their biodiversity or amenity.\r\n\r\nThe CCI project has created timeseries of LSWT from 1995 onwards, on a regular grid of latitude-longitude. This has involved combining observations from four satellite missions and 250 lakes were targeted. Future versions of the dataset will increase the density of available observations by bringing in more satellite missions, and will target thousands of lakes.\n\n**Angezeigte Variable:** Wassertemperatur der Seeoberfläche\r\n\n**Zeitspanne:** Juni 1995 - Dezember 2019\r\n\n**Temporale Auflösung:** monatlich\r\n\n**Geografische Ausdehnung:** global\r\n\n**Version:** v1.0\r\n\r\n[ESA CCI Lakes ECV Projekt Webseite](https://climate.esa.int/de/projekte/lakes/)\r\n[Daten im Open Data Portal](https://catalogue.ceda.ac.uk/uuid/3c324bb4ee394d0d876fe2e1db217378)"
+  },
+  {
+    "id": "ogvi.ogvi",
+    "type": "OGVI",
+    "name": "OGVI",
+    "shortName": "OGVI",
+    "description": "..."
+  },
+  {
+    "id": "ice_sheets_antarctica.dm",
+    "type": "Ice Sheets Antarctica",
+    "name": "Ice Sheets Antarctica",
+    "shortName": "Ice Sheets Antarctica",
+    "description": "..."
   }
-]
+]

storage/layers/layers-en.json

@@ -159,5 +159,19 @@
     "name": "Lake Surface Water Temperature",
     "shortName": "Lakes",
     "description": "Lake surface water temperature (LSWT) is the temperature of the surface lake waters as seen from space in infrared wavelengths. LSWT can be derived when the lake surface water is not obscured by ice cover or clouds. Lakes cover less than 1% of Earth’s land area, but lakes and their shores contribute disproportionately to biodiversity and human flourishing. Obvious features in the LSWT are the large annual cycle in temperature in higher latitudes, and the important patterns of temperature contrast across individual lakes, especially large ones. Lakes and the ecosystems they support interact sensitively with climate, and LSWT gives insight into which lakes are vulnerable to shifts of behaviour that could undermine their biodiversity or amenity.\r\n\r\nThe CCI project has created timeseries of LSWT from 1995 onwards, on a regular grid of latitude-longitude. This has involved combining observations from four satellite missions and 250 lakes were targeted. Future versions of the dataset will increase the density of available observations by bringing in more satellite missions, and will target thousands of lakes.\n\n**Variable Shown:** Lake Surface Water Temperature  \r\n\n**Time Span:**  June 1995 – December 2019\r\n\n**Temporal Resolution:**  monthly\r\n\n**Geographic Extent:** global \r\n\n**Version:** v1.0\r\n\r\n[ESA CCI Lakes ECV Project website](https://climate.esa.int/de/projekte/lakes/) \r\n[Data in the Open Data Portal](https://catalogue.ceda.ac.uk/uuid/3c324bb4ee394d0d876fe2e1db217378)"
+  },
+  {
+    "id": "ogvi.ogvi",
+    "type": "OGVI",
+    "name": "OGVI",
+    "shortName": "OGVI",
+    "description": "..."
+  },
+  {
+    "id": "ice_sheets_antarctica.dm",
+    "type": "Ice Sheets Antarctica",
+    "name": "Ice Sheets Antarctica",
+    "shortName": "Ice Sheets Antarctica",
+    "description": "..."
   }
-]
+]

storage/layers/layers-es.json

@@ -159,5 +159,19 @@
     "name": "Temperatura del agua superficial del lago",
     "shortName": "Lagos",
     "description": "La temperatura del agua superficial del lago (LSWT) es la temperatura de las aguas superficiales del lago vistas desde el espacio en longitudes de onda infrarrojas. La LSWT puede obtenerse cuando el agua de la superficie del lago no está oculta por una capa de hielo o por las nubes. Los lagos cubren menos del 1% de la superficie terrestre, pero los lagos y sus orillas contribuyen de forma desproporcionada a la biodiversidad y al florecimiento humano. Los rasgos más evidentes del LSWT son el gran ciclo anual de temperatura en las latitudes más altas y los importantes patrones de contraste de temperatura entre los distintos lagos, especialmente los grandes. Los lagos y los ecosistemas que sustentan interactúan de forma sensible con el clima, y la LSWT permite saber qué lagos son vulnerables a cambios de comportamiento que podrían socavar su biodiversidad o su atractivo.\r\n\r\nEl proyecto CCI ha creado series temporales de LSWT a partir de 1995, en una cuadrícula regular de latitud-longitud. Para ello se han combinado las observaciones de cuatro misiones por satélite y se han seleccionado 250 lagos. Las futuras versiones del conjunto de datos aumentarán la densidad de las observaciones disponibles mediante la incorporación de más misiones de satélite, y se centrarán en miles de lagos.\n\n**Variable mostrada:** Temperatura del agua superficial del lago\r\n\n**Periodo de tiempo:** junio de 1995 - diciembre de 2019\r\n\n**Resolución temporal:** mensual\r\n\n**Amplitud geográfica:** global\r\n\n**Versión:** v1.0\r\n\r\n[Sitio web del proyecto CCI Lakes ECV de la ESA](https://climate.esa.int/de/projekte/lakes/)\r\n[Datos en el Portal de Datos Abiertos](https://catalogue.ceda.ac.uk/uuid/3c324bb4ee394d0d876fe2e1db217378)"
+  },
+  {
+    "id": "ogvi.ogvi",
+    "type": "OGVI",
+    "name": "OGVI",
+    "shortName": "OGVI",
+    "description": "..."
+  },
+  {
+    "id": "ice_sheets_antarctica.dm",
+    "type": "Ice Sheets Antarctica",
+    "name": "Ice Sheets Antarctica",
+    "shortName": "Ice Sheets Antarctica",
+    "description": "..."
   }
-]
+]

storage/layers/layers-fr.json

@@ -159,5 +159,19 @@
     "name": "Température de l'eau de surface du lac",
     "shortName": "Lacs",
     "description": "La température de l'eau de surface du lac (LSWT) est la température de l'eau de surface du lac vue de l'espace dans les longueurs d'onde infrarouges. La LSWT peut être obtenue lorsque l'eau de surface du lac n'est pas obscurcie par une couverture de glace ou des nuages. Les lacs couvrent moins de 1 % de la surface terrestre, mais les lacs et leurs rives contribuent de manière disproportionnée à la biodiversité et à l'épanouissement humain. Les caractéristiques évidentes du LSWT sont le grand cycle annuel de température dans les latitudes plus élevées, et les modèles importants de contraste de température entre les lacs individuels, en particulier les grands lacs. Les lacs et les écosystèmes qu'ils abritent interagissent de manière sensible avec le climat, et le LSWT permet de savoir quels lacs sont vulnérables aux changements de comportement qui pourraient nuire à leur biodiversité ou à leur agrément.\r\n\r\nLe projet CCI a créé des séries chronologiques de LSWT à partir de 1995, sur une grille régulière de latitude-longitude. Il a fallu combiner les observations de quatre missions satellitaires et 250 lacs ont été ciblés. Les futures versions de l'ensemble de données augmenteront la densité des observations disponibles en intégrant d'autres missions satellitaires, et cibleront des milliers de lacs.\n\n**Variable affichée:** Température des eaux de surface du lac\r\n\n**Période de temps : ** Juin 1995 - Décembre 2019\r\n\n**Résolution temporelle : ** mensuelle\r\n\n**Étendue géographique : ** globale\r\n\n**Version : ** v1.0\r\n\r\n[Site web du projet ECV des lacs de l'ESA CCI] (https://climate.esa.int/de/projekte/lakes/)\r\n[Données dans le portail de données ouvertes](https://catalogue.ceda.ac.uk/uuid/3c324bb4ee394d0d876fe2e1db217378)"
+  },
+  {
+    "id": "ogvi.ogvi",
+    "type": "OGVI",
+    "name": "OGVI",
+    "shortName": "OGVI",
+    "description": "..."
+  },
+  {
+    "id": "ice_sheets_antarctica.dm",
+    "type": "Ice Sheets Antarctica",
+    "name": "Ice Sheets Antarctica",
+    "shortName": "Ice Sheets Antarctica",
+    "description": "..."
   }
-]
+]

storage/layers/layers-nl.json

@@ -159,5 +159,19 @@
     "name": "Oppervlaktewatertemperatuur van het meer",
     "shortName": "Meren",
     "description": "De temperatuur van het oppervlaktewater van het meer (LSWT) is de temperatuur van het oppervlaktewater van het meer zoals gezien vanuit de ruimte in infrarode golflengtes. LSWT kan worden afgeleid wanneer het oppervlaktewater van het meer niet aan het zicht wordt onttrokken door ijsbedekking of wolken. Meren beslaan minder dan 1% van het landoppervlak van de aarde, maar meren en hun oevers dragen onevenredig veel bij tot de biodiversiteit en de menselijke welvaart. Duidelijke kenmerken van het LSWT zijn de grote jaarlijkse temperatuurcyclus op hogere breedtegraden en de belangrijke patronen van temperatuurcontrasten tussen afzonderlijke meren, vooral grote meren. Meren en de ecosystemen die zij ondersteunen gaan een gevoelige wisselwerking aan met het klimaat, en de LSWT geeft inzicht in welke meren kwetsbaar zijn voor gedragsveranderingen die hun biodiversiteit of belevingswaarde zouden kunnen ondermijnen.\r\n\r\nIn het kader van het CCI-project zijn tijdreeksen van LSWT gemaakt vanaf 1995, op een regelmatig raster van lengte- en breedtegraden. Daartoe zijn waarnemingen van vier satellietmissies gecombineerd en zijn 250 meren onderzocht. Toekomstige versies van de dataset zullen de dichtheid van de beschikbare waarnemingen verhogen door meer satellietmissies in te voeren, en zullen gericht zijn op duizenden meren.\n\n**Variabele:** Temperatuur oppervlaktewater meer\r\n\n**Tijdspanne:** juni 1995 - december 2019\r\n\n**Temporele Resolutie:** maandelijks\r\n\n**Geografische omvang:** wereldwijd\r\n\n**Versie:** v1.0\r\n\r\n[ESA CCI Lakes ECV Project website](https://climate.esa.int/de/projekte/lakes/)\r\n[Gegevens in het Open Data Portaal](https://catalogue.ceda.ac.uk/uuid/3c324bb4ee394d0d876fe2e1db217378)"
+  },
+  {
+    "id": "ogvi.ogvi",
+    "type": "OGVI",
+    "name": "OGVI",
+    "shortName": "OGVI",
+    "description": "..."
+  },
+  {
+    "id": "ice_sheets_antarctica.dm",
+    "type": "Ice Sheets Antarctica",
+    "name": "Ice Sheets Antarctica",
+    "shortName": "Ice Sheets Antarctica",
+    "description": "..."
   }
-]
+]