Optimalizace procesu ukládání obálek

Byla provedena úprava procesu ukládaní dat obálek ze všech zdrojů pomocí vkládacího API, webem i crawlerem tak, že se v současnosti originály obálek neukládají do databáze, ale na souborový systém. Dále byla provedena úprava procesu ukládání importovaných dat tak, že nezatěžuje celý backend server do takové míry, jak tomu bylo začátkem roku 2014. Zaměření na operační paměť. Úpravou byla úprava modelů Perl Catalyst MVC. V neposlední řadě byl uskutečněn přesun nepoužívaných dat z databáze na filesystém.

Popis řešení:

• Vývoj modelů Perl Catalyst MVC zajišťujících import obálek do databáze. Nalezení všech míst, kde se tomu tak děje. Výstupem byla úprava procesu tak, že se originály obálek neukládají do databáze, ale na souborový systém. Jedna obálka = 1 soubor.
• Nalezení a úprava problému s vysokým zatížením operační paměti. Zaměření právě na procesy spojené s ukládáním dat.
• Za nepoužívaná data lze považovat originály importovaných obálek, které nejsou dále nijak pomocí API, nebo jinou cestou poskytovány veřejnosti. Slouží pouze jako forma zálohy. Byl vytvořen script fileblob_data_export.pl, který všechny originály obálek přesunul na souborový systém, stejně jak to dělají rutiny sloužící pro import dat ze skenovacího klienta, import dat z webu a import dat pomocí crawlera. Tj. každý takovýto záznam (originál obálky) je z databáze přesouván do jednoho souboru na určené místo.
• Vytvořeným scriptem byl proveden export dat na provozním i vývojovém prostředí s ohledem na zaručení nepřetržitého běhu a tím neohrožení řádného provozu.
• Exportovaná data byla přesunuta do lokality JVK a poskytnuta k zálohování.