Skip to content

Latest commit

 

History

History
98 lines (80 loc) · 7.01 KB

provozní dokumentace.md

File metadata and controls

98 lines (80 loc) · 7.01 KB
Raw

Provozní dokumentace Národního katalogu otevřených dat

Seznam pojmů a zkratek

DCAT-AP-CZ
Otevřená formální norma "Rozhraní katalogů otevřených dat: DCAT-AP-CZ" založená na evropském standardu DCAT-AP, který je založen na webovém standardu DCAT
ISDS
Informační systém datových schránek
LKOD
Lokální katalog otevřených dat
NKOD
Národní katalog otevřených dat
POD
Portál otevřených dat
RDF
Resource Description Framework - datový model využívaný NKOD
SPARQL
Dotazovací jazyk nad daty v RDF

Popis funkce systému a jednotlivých modulů

Viz aplikační dokumentace.

Nasazení systému

Instalace systému viz instalační dokumentace.

NKOD je nasazen ve 2 instancích, produkční a testovací, v prostředí Microsoft Azure, tenantu DIA. Škálován je na práci s až 200 000 datovými sadami.

Produkční prostředí

Produkční prostředí zahrnuje tyto virtuální stroje

  • NKOD-PROD-DB odpovídající NKOD-DB z instalační dokumentace, 8 vCPUs, 28 GiB RAM, 1TB úložiště
  • NKOD-PROD-ETL odpovídající NKOD-ETL z instalační dokumentace, 8 vCPUs, 28 GiB RAM, 4TB úložiště
  • NKOD-PROD-FE odpovídající NKOD-FRONTEND z instalační dokumentace, 4 vCPUs, 8 GiB RAM, 4TB úložiště

Běží na adrese https://data.gov.cz, přijímá registrace z datové schránky m3hp53v a případné testovací záznamy z main branche https://github.com/datagov-cz/nkod-test. Nastaveno na harvestaci denně, v 22:00.

Na NKOD-PROD-FE kromě frontendu NKOD běží také POD, který je klonem stránek spravovaných v main branchi https://github.com/datagov-cz/data.gov.cz, a dále hostuje otevřené formální normy z master branche https://github.com/datagov-cz/otevrene-formalni-normy na https://ofn.gov.cz. Obě další části se stahují na základě obsluhy GitHub webhooku. Navíc v produkčním prostředí běží instance Dokuwiki (v /data/dokuwiki) běžící na https://opendata.gov.cz.

Testovací prostředí

Testovací prostředí zahrnuje tyto virtuální stroje

  • NKOD-TEST-DB odpovídající NKOD-DB z instalační dokumentace, 8 vCPUs, 28 GiB RAM, 1TB úložiště
  • NKOD-TEST-ETL odpovídající NKOD-ETL z instalační dokumentace, 8 vCPUs, 28 GiB RAM, 4TB úložiště
  • NKOD-TEST-FE odpovídající NKOD-FRONTEND z instalační dokumentace, 4 vCPUs, 8 GiB RAM, 4TB úložiště

Běží na adrese https://pod-test.dia.gov.cz, přijímá registrace z testovací datové schránky vrxgfvc a testovací záznamy z test branche https://github.com/datagov-cz/nkod-test. Nastaveno na harvestaci každé 3 hodiny.

Na NKOD-TEST-FE kromě frontendu NKOD běží také pracovní verze POD, která je klonem stránek spravovaných v develop branchi https://github.com/datagov-cz/data.gov.cz, a dále hostuje otevřené formální normy z develop branche https://github.com/datagov-cz/otevrene-formalni-normy na https://pod-test.dia.gov.cz/otevřené-formální-normy/, např. https://pod-test.dia.gov.cz/otevřené-formální-normy/základní-datové-typy/2020-07-01/ . Obě další části se stahují na základě obsluhy GitHub webhooku.

Údržba systému

Je třeba zejména na NKOD-ETL monitorovat místo na disku, které může dojít kvůli velikosti logů. Je tedy třeba např. jednou za měsíc promazat záznamy o proběhlých procesech, tj. adresář /data/lp/etl/storage/working a server restartovat.

Administrátorský přístup k LinkedPipes ETL

LinkedPipes ETL, ve kterém běží hlavní datové procesy NKOD má uživatelské rozhraní přístupné buďto přes SSH tunel na NKOD-ETL na http://localhost:8080, nebo volitelně/dočasně přes HTTP endpoint /etl zabezpečený pomocí HTTP Basic Authentication.

Možné chybové stavy a jejich řešení

Může proces harvestace NKOD selhat z následujících očekávatelných důvodů:

  1. Selže pipeline 07.1 Harvestace LKOD a formulářů, aktualizace uživatelského rozhraní, protože systém datových schránek má výpadek. Ten obvykle trvá jeden den, tedy ten den nebude NKOD harvestován. Není nutný další zásah.
  2. Selže pipeline 08.1 Nahrát NKOD do SPARQL endpointu a spustit pipeliny pro kvalitu protože spadne instance databáze Virtuoso. Pak je třeba celý server NKOD-DB restartovat a následně restartovat pipeline.
  3. Selže pipeline 07.1 Harvestace LKOD a formulářů, aktualizace uživatelského rozhraní a 08.1 Nahrát NKOD do SPARQL endpointu a spustit pipeliny pro kvalitu na chybu 502 Bad Gateway při aktualizaci LDF serveru nebo restartu Virtuosa. Zřejmě spadla databáze Virtuoso a s ní i PHP server obsluhující webhooky. Je třeba restartovat NKOD-DB a znovu spustit pipeline 07 Spouštěcí pipeline nebo počkat na další den harvestace.

Nároky na personál

Na provozovatele NKOD jsou kladeny následující nároky: