notebooks/II. Deep Networks - Modern Practices 11 - Practical Methodology.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "*Created by Petteri Nevavuori.*\n",
    "\n",
    "---\n",
    "\n",
    "# Deep Learning seminaari\n",
    "\n",
    "Kirjana Goodfellow et al.: Deep Learning (2016)\n",
    "\n",
    "Otsikot seuraavat pääotsikoiden tasolla kirjaa, mutta alaotsikot eivät aina."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    },
    "toc": true
   },
   "source": [
    "<h1>Table of Contents<span class=\"tocSkip\"></span></h1>\n",
    "<div class=\"toc\"><ul class=\"toc-item\"><li><span><a href=\"#11.-Practical-Methodology\" data-toc-modified-id=\"11.-Practical-Methodology-1\">11. Practical Methodology</a></span><ul class=\"toc-item\"><li><span><a href=\"#11.1-Performance-Metrics\" data-toc-modified-id=\"11.1-Performance-Metrics-1.1\">11.1 Performance Metrics</a></span></li><li><span><a href=\"#11.2-Default-Baseline-Models\" data-toc-modified-id=\"11.2-Default-Baseline-Models-1.2\">11.2 Default Baseline Models</a></span></li><li><span><a href=\"#11.3-Determining-Whether-to-Gather-More-Data\" data-toc-modified-id=\"11.3-Determining-Whether-to-Gather-More-Data-1.3\">11.3 Determining Whether to Gather More Data</a></span></li><li><span><a href=\"#11.4-Selecting-Hyperparameters\" data-toc-modified-id=\"11.4-Selecting-Hyperparameters-1.4\">11.4 Selecting Hyperparameters</a></span><ul class=\"toc-item\"><li><span><a href=\"#Manual-Hyperparameter-Tuning\" data-toc-modified-id=\"Manual-Hyperparameter-Tuning-1.4.1\">Manual Hyperparameter Tuning</a></span></li><li><span><a href=\"#Automatic-Hyperparameter-Optimization-Algorithms\" data-toc-modified-id=\"Automatic-Hyperparameter-Optimization-Algorithms-1.4.2\">Automatic Hyperparameter Optimization Algorithms</a></span><ul class=\"toc-item\"><li><span><a href=\"#Grid-Search\" data-toc-modified-id=\"Grid-Search-1.4.2.1\">Grid Search</a></span></li><li><span><a href=\"#Random-Search\" data-toc-modified-id=\"Random-Search-1.4.2.2\">Random Search</a></span></li></ul></li><li><span><a href=\"#Model-Based-Hyperparameter-Optimization\" data-toc-modified-id=\"Model-Based-Hyperparameter-Optimization-1.4.3\">Model-Based Hyperparameter Optimization</a></span></li></ul></li><li><span><a href=\"#11.5-Debugging-Strategies\" data-toc-modified-id=\"11.5-Debugging-Strategies-1.5\">11.5 Debugging Strategies</a></span></li><li><span><a href=\"#11.6-Example:-Multi-Digit-Number-Recognition\" data-toc-modified-id=\"11.6-Example:-Multi-Digit-Number-Recognition-1.6\">11.6 Example: Multi-Digit Number Recognition</a></span></li></ul></li></ul></div>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## 11. Practical Methodology"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Syväoppivien menetelmien onnistunut käyttö vaatii myös muutakin, kuin vain tietoa sekä algoritmien kirjosta että siitä, miten mikäkin algoritmi toimii. Syväoppivien menetelmien käyttö on myös käytännöllisiä taitoja vaativaa työtä. Näitä ovat oikean mallin valinta, mallin koulutuksen seurantakyky sekä taito tehdä tarvittavia muutoksia mallin suorituskyvyn parantamiseksi. Samoin se on myös käytännön ohjelmointia."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Monimutkaisen menetelmän huolimattoman implementoinnin sijasta paljon parempia tuloksia saa, mikäli käyttää keskinkertaisia malleja yhdessä huolellisen käytännön toteutuksen, koulutuksen seurannan ja mallin säätämisen kanssa. \n",
    "\n",
    "Tässä luvussa käytetään esimerkkinä Googlen Street View -karttapalvelun kehittämistä, jossa konvoluutioverkolla tunnistetaan talojen numeroita ja sidotaan niitä kuvien koordinaatteihin."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Käytännöllinen prosessi etenee esimerkiksi seuraavasti:\n",
    "\n",
    "1. **Määrittele tavoitteet.** Näitä ovat ongelmaan sopiva virheen mittari ja mitattava kohdearvo.\n",
    "2. **Rakenna karkea kouluttuva malli.** Tämä pitää sisällään myös datan esikäsittelyn.\n",
    "3. **Kerää tietoa mallin kriittisistä osista.** Näin pääset käsiksi mahdollisiin pullonkauloihin sekä myös odotettua huonomman suorituskyvyn syihin.\n",
    "4. **Tee toistuvia pieniä muutoksia.** Ei vain malliin, vaan myös dataan, hyperparametreihin ja jopa algoritmeihin."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 11.1 Performance Metrics"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Suorituskyvyn mittari ja sen odotettu taso määrittävät eniten koko koulutusprosessia. Täydellisiä malleja ei voida kouluttaa sekä teoreettisten syiden että datanäytteiden rajallisuuden vuoksi. Joskus dataa voi olla todella kallista kerätä, toisaalta sitä ei välttämättä ole edes luvallista lisätä (esim. vertailutilanteissa). \n",
    "\n",
    "Tavoiteltu suorituskykytaso tulee usein joko aiemmasta tutkimuksesta tai sitten käyttäjäpuolen vaatimuksista. Jälkimmäisiä ovat joko turvallisuuden asettamat rajat, kustannustehokkuus tai käytännöllinen merkityksellisyys. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Perinteiset virhemittarit, kuten tarkkuus tai absoluuttinen virhe, eivät ole aina riittäviä. Virheet voivat erota toisistaan niiden merkitsevyydessä. Mikäli esimerkiksi merkityksellinen sähköposti luokitellaan roskapostiksi, on kyseessä väärä negatiivinen (*false negative*) luokittelutulos. Tämä voi olla vakavampaa, kuin ilmeisen roskapostin luokittelu merkitykselliseksi, milloin kyseessä on väärä positiviinen (*false positive*) luokittelu. Tämänkaltaisessa tapauksessa virhettä on painotettava sen vakavuudella."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Voi myös olla, että luokiteltavat asiat eivät ole määrällisesti keskenään tasapainossa, esimerkkinä harvinaisen sairauden tunnistaminen. Tällöin kaksi yhdessä käytettävää pätevämpää mittaria ovat täsmällisyys (*precision*) ja oikein luokitellut havainnot (*recall*). Täsmällisyydellä tarkoitetaan oikeiden luokittelutulosten suhdetta kaikkista havainnoista ja oikein luokitelluilla havainnoilla taas oikein luokiteltujen havaintojen osuus.\n",
    "\n",
    "Tällöin kovakoodatusti tervettä ennustavan mallin täsmällisyys olisi lähes 100%, mutta sen muisti sairauksien osalta olisi 0%. Toisaalta kaikki sairaaksi luokitteleva osuisi täydellisesti kohdalleen oikeissa sairastapauksissa, mutta sen täsmällisyys olisi olematon."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Näitä kahta mittaria käytetään yhdessä PR-kurvin (*PR curve*) muodostamiseen. Kurvi muodostetaan siten, että täsmällisyys on *y*-akselilla ja oikeiden havaintojen osuus *x*-akselilla. Näin oikein luokiteltu havainto saa suurimmat pisteet. Tavallista on ilmoittaa käyrän muodostaman alueen koko. \n",
    "\n",
    "Näitä kahta mittaria käyttämällä voidaan laskea myös F-piste (*F-score*)\n",
    "\n",
    "$$ F = \\frac{2pr}{p+r},$$\n",
    "\n",
    "jossa $p$ on täsmällisyys ja $r$ on oikein luokitellut havainnot."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Joskus on myös hyödyllistä, että malli tuottaa ennusteensa lisäksi myös varmuusarvon. Mikäli varmuusarvo on liian matala, malli voi jättää kokonaan ennustamatta ja antaa päätösvallan asiasta ihmiselle. Näin on luvun esimerkin, Google Street Viewin talon numeroiden tunnistuksen kanssa. Väärät osoitetiedot vaikuttavat vahvan kielteisesti kartan laatuun. Tällöin epävarmat luokittelutulokset on parempi antaa ihmisten luokiteltavaksi.\n",
    "\n",
    "Näissä tilanteissa hyödyllinen mittari on peittävyys (*coverage*), jolla ilmaistaan varmojen luokittelun suhdetta kaikkiin havaintoihin. Näin saadaan tasapainottava mittari luokittelutarkkuudelle, jota voidaan keinotekoisesti hilata ylös antamalla jokainen havainto ihmisen luokiteltavaksi. Esimerkkitehtävässä tavoitteena oli saavuttaa 98% eli ihmistason luokittelutarkkuus ja 95% peittävyys."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 11.2 Default Baseline Models"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Kun mitattava kohdearvo ja sille sovelias mittari on selvillä, edetään alusta loppuun toimivan karkean perusmallin kehittämiseen mahdollisimman tehokkaasti. Aliluvussa esitellään perusmalleja lähtökohdiksi eri tilanteisiin, mutta aihealueen nopean kehitysvauhdin vuoksi kaikki tiedot eivät välttämättä ole enää ajantasaisia. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Alussa voi olla jopa suositeltavampaa käyttää ensin perinteisiä mentelmiä syvien sijasta. Mikäli ongelma on tyydyttävästi ratkaistavissa esimerkiksi logistisen regression keinoin, ei syväoppivia menetelmiä tarvita laisin. Mikäli taas ongelma on konekäännöksen, hahmon-, kuvan- tai puheentunnistuksen tai muun vastaavaan kompleksin ongelman alueella, on syvien menetelmien käyttö alusta asti suotavaa."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Ensimmäinen mallin valintaan vaikuttava tekijä ja syöte- ja kohdearvojen tyypit. Mikäli syöte on kiinteän kokoinen vektori ja kuhunkin syötteeseen liittyy tietty kohdearvo tai -luokka, on perinteinen myötäkytketty verkko hyvä lähtökohta. Jos datassa on sekvenssisyyttä, hyvänän lähtökohtana on LSTM. Kuvien kanssa edetään taas konvoluutioverkoilla."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Optimointialgoritmin osalta SGD momentin kanssa on hyvä lähtökohta vaimenevan oppimiskertoimen kanssa. Toinen hyvä vaihtoehto on Adam. Osajoukkojen normalisointi voi vaikuttaa merkittävästikin optimointinopeuteen etenkin sigmoid-funktioita hyödyntävien konvoluutioverkkojen kanssa.\n",
    "\n",
    "Regularisoinnin osalta aikaisin lopettamista tulisi käyttää lähes aina. Poispudotus on myös hyvä ja helposti käyttöönotettava menetelmä, mutta se voi osoittautua turhaksi yhdessä osajoukkojen normalisoinnin kanssa."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Mikäli ongelmaan liittyvää tutkimusta on jo tehty, on tutkimusten mallien kopiointi todella hyvä lähtökohta. Joskus jopa valmiiksi koulutettuja mallejakin on saatavilla. Joskus koulutus voidaan ohjatun sijaan aloittaa ohjaamattomasti, mutta tämä on tapauskohtaista ja siihen paneudutaan tarkemmin kirjan kolmannessa osassa. Tekstin ja puheen tunnistamisessa tästä on suurtakin hyötyä, kuvien tunnistuksesssa taas ei niinkään. Muussa tapauksessa ohjaamattomien menetelmien käyttö alusta alkaen on suotavaa vain niille sopivisssa ongelmissa."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 11.3 Determining Whether to Gather More Data"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Karkean koulutettavan mallin rakentamisen jälkeen on vuorossa suorituskyvyn mittaus ja sen kehityksen vaatimat toimenpiteet. Monien eri mallien yrittämisen sijaan voi kuitenkin olla parempi pyrkiä ensin keräämään lisää dataa. Merkittävin indikaatio tästä tarpeesta saadaan koulutusvirheestä."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Mikäli koulutusvirhe jää suureksi, ei malli kykene hyödyntämään dataa riittävästi eikä täten lisädatalla ole juuri vaikutuksia. Tällöin mallin kapasiteetin lisääminen kerroksia lisäämällä tai vaikkapa oppimiskerrointa säätämällä voi auttaa. Mikäli tämäkään ei auta, voi jopa data olla itsessään huonolaatuista (kohinaista tai ongelman kanssa korreloimatonta). Tällöin on aloitettava uudelleen datan keruusta."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Jos taas koulutusvirhe pienenee, mitataan suorituskykyä seuraavaksi testivirheen osalta. Sen ollessa hyvä, ei muuta juuri kannata tehdä. Muutoin datan keruu on yksi parhaista vaihtoehdoista kustannustehokkuus huomioiden. Mikäli dataa on helposti saatavilla, on sen keruu aina parempi vaihtoehto muiden rinnalla. Mikäli taas ei, on mallia joko pienennettävä tai regularisoitava. Silloinkin, mikäli vain mitenkään mahdollista, on datan keruu vaihtoehdoista paras."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Kerättävän lisädatan määrää voidaan arvioida erikokoisten koulutussettien virheiden perusteella. Jotta datasetin kasvattamisella on mitään vaikutusti, on kasvatuksen oltava vähintään kertaluokkaa. Datasetin kasvattaminen vain osalla nykyisestä ei vaikuta virheeseen juuri mitenkään, sillä virhettä pienennettäessä koulutusdatasettiä on kasvatettava jopa eksponentiaalisesti."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 11.4 Selecting Hyperparameters"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Kirjan aiemmissa luvuissa on jo mainittu termi hyperparametri. Optimointialgoritmista ja käytetystä mallista riippuen säädettäviä hyperparametreja voi olla useita. Ne vaikuttavat useimmiten mallin koulutuksen etenemiseen ja sen robustisuuteen yhdessä laskennallisten ja muistin resurssien kanssa. Hyperparametrien valinta voidaan jakaa kahteen tapaan, manuaaliseen ja automaattiseen. Manuaalinen asetus vaatii syvempää ymmärrystä, kun taas automaattinen enemmän laskenta-aikaa."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "#### Manual Hyperparameter Tuning"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Hyperparametrien asettaminen itse vaatii laaja-alaista ymmärrystä hyperparametreista ja niiden suhteesta sekä mallin koulutukseen että käytössä oleviin laskennallisiin resursseihin. Käytännössä tämä tarkoittaa kirjan viidennen luvun asioiden kattavaa ymmärtämistä. Hyperparametrien arvojen etsintä ja asettaminen ylipäätään on optimaalisen mallin käytännöllisen kapasiteetin etsintää suhteessa ratkaistavaan ongelmaan ja sen kompleksisuuteen."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Mallin käytännöllinen kapasiteetti rajoittuu kolmen tekijän yhteisvaikutukseen. Näitä ovat mallin teoreettisen maksimikapasiteetti, käytetyn optimointialgoritmin kohdefunktion minimointikyky ja regularisoinnin aste. Mallia syventämällä voidaan kasvattaa sen maksimikapasiteettia, mutta optimointialgoritmista ja regularisoinnista riippuen parhaimpia datantuottprosesseja mallintavia funktiota ei silti vain näin löydetä."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Yleistysvirheelle määritellään kaksi ääripäätä, jossa toisessa päässä sekä se että koulutusvirhe jäävät riittämättömän korkeiksi. Toisessa ääripäässä yleistys- ja koulutusvirheiden ero on huomattavan suuri. Tällöin ollaan tekemisissä jo aiemminkin käsiteltyjen ali- ja ylisovittumisen kanssa. Eri hyperparametrien arvot vaikuttavat näihin sovittumisen ongelmakohtiin eri suuruusluokissa. \n",
    "\n",
    "Esimerkiksi piiloyksiköiden määrän kasvattaminen lisää mallin kapasiteettia ja voi helpommin johtaa ylisovittumiseen. Toinen esimerkki on L2-regularisointi, jonka kasvattaminen taas johta lopulta alisovittumiseen."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Mikäli yksittäinen hyperparametri on diskreetti, ei sillä ole ollenkaan mahdollista käydä läpi koko mahdollista avaruutta. Tällaisia ovat mm. kerrosten ja yksiköiden määrä. Jotkut yksittäiset hyperaparametrit ovat jopa binäärisiä, jolloin yksittäisinä ne kykenevät tutkimaan vain vielä rajoitetumman alueen oppimiskäyrästä. Toiset taas toimivat vain rajoitetuissa tilanteissa - regularisoinnin ottaminen käyttöön jo valmiiksi alisovittuvassa mallissa ei auta mitään."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Yksi merkittävimmistä hyperparametreista on oppimiskerroin (*learnin rate*). Sen tulisi olla ensimmäinen säädettävä, sillä se vaikuttaa mallin käytännölliseen kapasitettiin monimutkaisemmin kuin muut hyperparametrit. Sen oikea arvo määrittyy aina suhteessa malliin ja opittavaan ongelmaan, eikä niinkään arvon magnitudin mukaan. Liian suurena oppimiskerroin voi jopa huonontaa koulutusvirhettä, liian pienenä malli voi jäädä jumiin paikalliseen minimiiin."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Joka tapauksessa hyperparametrien säätö vaatii tarkkailua sekä liittyy aina käytännöllisen kapasiteetin optimointiin. Liian suuren koulutusvirheen ali alisovittumisen kanssa ei useimmiten auta muu, kuin mallin syvyyden ja/tai leveyden kasvatus. Liian suuren testivirheen eli ylisovittumisen kanssa voidaan siirtyä regularisoinnin säätämiseen. Tärkeintä kuitenkin on, että tavoitteena on aina testivirheen pienentäminen."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "#### Automatic Hyperparameter Optimization Algorithms"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Manuaalisen hyperparametrien säädön sijasta niitä voidaan säätää myös automatisoidusti. Tällöin säädettäville hyperparametreille annetaan jotkin arvorajat, jonka puittessa automaattiset säätöalgoritmit sitten kouluttavat monia eri versioita malleista ja mittaavat eri hyperparametrien kombinaatioiden suorituskykyä. Tällöin ollaan jälleen optimointiongelman parissa, mutta sellaisen, joka on helpompaa säätää yksittäisten arvojen diskreettien arvojen säätämisen sijasta. Paras hyperparametrien kombinaatio on parhaiten kohdefunktion minimoiva kombinaatio."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "##### Grid Search"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Mikäli hyperparametreja on vähän, kolmen kieppeillä, voidaan säätö toteuttaa taulukkohaulla (*grid search*). Tällöin kullekin säädettävälle hyperparametrille valitaan muutama arvoa, joita sitten kokeillaan keskenään eri kombinaatioissa. Arvojen valinta on kuitenkin manuaalista säätämistä vastaavaa, sillä testattavat arvot on valittava käsin. Eri arvojen suhteen on olemassa joitain osviittaa antavia nyrkkisääntöjä, kuten oppimiskertoimen valinta eri kymmenen potensseista $10^{-1} \\text{ ... } 10^{-5}$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Taulukkohaun käyttö on manuaalista myös sen iteratiivisen käytön vuoksi. Ensin aloitetaan normaalisti karkeimmilla arvoilla, minkä jälkeen testataan parhaimman tuloksen alueen ympäriltä tarkemmin. Näin voisi olla vaikkapa momenttikertoimen kanssa, jota testataan ensin arvoilla $\\{0.0, 0.5, 0.9\\}$ ja tämän jälkeen parhaimman tuloksen antaneen momenttikertoimen $0.9$ ympäriltä arvoilla $\\{0.7, 0.8, 0.9\\}$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Tämän menetelmän ongelmana on kuitenkin sen eksponentiaalisesti kasvavat laskennalliset vaatimukset. Mikäli hyperparametreja on $m$ kappaletta ja niitä jokaista kokeilla $n$ mahdollisen arvon kanssa, on optimaalisen mallin koulutus luokkaa $O(m^n)$. Toki, mikäli mahdollista, toisiinsa lähtökohtaisesti riippumattomia koulutuksia voidaan ajaa kyllä rinnan, mutta laskentatehokkuutta tämäkään ei silti pienennä."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "##### Random Search"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Taulukkoetsinnän rinnalla toinen varteenotettava vaihtoehto on satunnaishaku. Jokaiselle säädettävälle hyperparametrille määritetään ensin jakauma (jatkuva, diskreetti, binääri), josta kukin hyperparametri voi arvonsa saada. Tällöin hyperparametrien eri kombinaatioita saadaan tehokkaammin tutkittua ja löydettyä jopa mahdollisesti perinteisemmältä taulukkohaulta piiloon jäävät arvot. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Kirjan kuva 11.2 antaa hyvän intuitiivisen esityksen aiheesta:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "<img src=\"data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAAfAAAAETCAIAAABGHsOdAAAgAElEQVR4nOxdeXgT1fo+M9mXNknbpPuSkKTpnslM0gIiCIKAisqqgOBFkE02EdkUUERWERQKhbIJAqIgqAgFukNbKFAQZLsuV6+oiAI/uGBL28zvjy85TFO2lqYb8z7z8IQkncyZeeed93znO99BLA8ePHjwaBZADX0APHjw4MGjbsALOg8ePHg0E/CCzoMHj+YAp9MJ/2LgNx8e8ILOgwePJgyujldUVFRUVFR/zT40ys4LOg8ePJoqsFiXl5ff6Tvl5eUPj6bzgs6DB48mCQ81Ly0tPXPmzJ49exYsWLB06dKMjIzTp09XVFSwD5Om84LOgwePpgcs0CDZ33zzzfPPP6/T6RAHWq124MCBu3btYlkWwi9sc9d0XtB58ODRxOCh5osWLZLL5egOkMlkH3zwAftwaDov6Dx48Gh6qKyshEjLokWLCIIgSRIhJBKJrFbrq6+++uqrr1qtVpFIhBCCj0DTceyluYIXdB48eDQlQOIKqHlmZqZUKgUnnpSUtG3btszMzNzc3Nzc3MzMzC+++MJqtcKnGo2moKAATH0z1nRe0JsbcKeysrKyoqLi5s2bN2/eLC8vr6ysbPb9TR4PCSorK1mWLS0t7dWrF+h1YmLi9u3bQcczMzOzsrKys7Pz8/O/+uqrhIQEMOmjRo2CuwDnMjY/8ILeTOCshtp9hwePRg7ssv/zn//4+/tDpGXr1q0lJSVFRUVFRUV5eXlZWVlZWVmZmZkFBQVr164F0Y+Njb148SLrfh40S/CC3uSBpbmyspLL1J9//nnHjh2TJk2aMGHC0qVLT5065fF9lnfrPJoUgLrA84qKiszMTFBqhmHef//9MWPGvPzyy+PHj1+zZk1OTk5+fn5WVlZOTs7OnTsjIiLgm99++23zjrrwgt60UX1ixaVLl3bs2EHTtJ+/n0whAx4LRAKVWmWz2Q4dOsSybEVFRTM2KTyaJbAEQ/yQZdmFCxcSBEEQhFQqlcqkBEkghEgBqVAqwsLC5syZk5ubm5WVtW/fvhdeeAFuhC+//JKtZn2aE3hBb6rgzmm+efMmy7L/+9//Nm7cqNVq75S/BZg2bRrLsjdv3sTxxAZuCQ8eLMtWpTRM3Mey60F1lmX37t0bGxt7d6o//fTTBQUFOTk53bt3h3e++eYblhd0Ho0NWIWh78mybHZ2drdu3bhslgRI/Fv6Bz4eGNgpUPuYVqKVIIQQgRBCEydOZDlOh5d1Hg0I7ogOJCNy2YjH83E39NSpUyNGjHCxnHD9qzQq1Va1mlKrrWqxnxghBIa9S5cun3/+eUBAAOQvnjp1ig+58GhE4LoY7DLefPNNlUqFEBIKhAghWags8sXImGkxzBrGsdHh2OhI3pQcNzNOTasRQkKRECE0efJklmW5qS/NleI8GjNuO5xTUVFRUlJSWFh47do1j++v/3h9ixYtEEICUsC1L5EvRca9HWd5y2J506IfrNfQGoQQQRAIIZPRhEPtly5dYvlBUR6NBFz2gzH/+eefH3vsMeAriUhCQIT3DU9ckGj/2E6vom2pNmopRS2lrEuszCrGttym66BDCMGEi6lTp7Icn86DRz3DY8Kn0+n8+uuve/bsGRMTExwcrNPpzGZzx44dN2zYUFZWduPGjdGjR4vFYoSQkBAihLTttP6t/IH8QpUw8qVI8wSzcZzRPMEcPSk64NEARCKBUACEJwhi0qRJfNoij8YFMOYQSczOzg4LCwMnQiDCx+IT/148vZqm02lqKWVbZrMtt9FpNJ1G25bbqFTKttzGrGECOwUihIRiIULovffeY1m2tLQUW3UePOoTuKN58uTJtm3bCgRVfLfLqZBkQkICt06LNEhqft1sX2ePmRYjkLv+RKQWhfcNbzGihek1k+k1k3GM0cfig7ukoaGhZ8+exSGd5sp2XtCbDHDOFkQS09LSIMxCEiQpIkN7hNIraHol7aHjsLn+u8xGLaPsa+3adlqIPAqFwi1btrCcSGVDt5LHQwScg3jmzBk8pRMhpFKprFarzWYLDg6GOUEYBEkEtA2wLrYyqxlqKcWsZQzDDaTo1nckWolfip/GrhFpRNBvhb+SSCTLli1jm3uXlBf0JoDqmeYjR47EDBZpRMbRRvt6O5VK2ZbZqus4fodOo6llFLxW29Sg6YGBgXl5eaw7sNiMzQuPRgVu6INhGOhoCgSCF154YcmSJfv27cvOzt6yZYvFYuEOfob1CmPWMLY0GxgXainl+NhhGGaQBEiqW3uAQOGy8FKpdMeOHax76KhZUp0X9MYOzDkcZxw4cCBCiBSQCCGfaJ/Yt2MdHzusS60g2Vwd99hAyqllFL2STlqYJAt3Zanr9foLFy6wzXqwiEcjBEQ/Fi9eDGouFArfeOONY8eOHThwICsr68CBA/3791er1S41RwgRKKBNgH2tnVpKudieZqOWUvY19ri344I6B4n9xVwplwZJg58OjnkzxifGB97RarU//fQTy7mbGvgU1DV4QW/U8Ei/vXLlSseOHRFCIqkIIaRtr6WWUPQq+ha/76zmXFmnUik6nY6ZFiMOEEMmQPfu3SGYg316A7ecR3MHZjXDMDA/aPjw4UeOHNm9e/e+ffuysrKee+45LM3iADEYbZFGlLQoyZZmg76my6YsszGrGFuaLWlRkmWqJeLFiMiBkbEzYuGbzDomYV6CPMpVX9dms8EkjGZJdV7QGztw+u1///tfl5qLRAihkGdD6JW0Lc1GpVK2tBqoOdZ0+zq7cbSRFJKQsfvuu+9WVlaWlZU1S6LzaGwAj3zp0iUIqoSHh2/evDk7OzsrKysjI+PRRx9FCAlEAoSQMlppnmCWhckQQgKZwDDcYF9rp1IpLp8h2MikM8wqhkln4AW9krYtt1FLKGYtE/1GtEAqgIj8kCFDysrKysrKmp9P5wW9kQLH+IBzx44di4+PR+7izmG9wlxBc8745z3V/LaaHto9FHarVquzsrJYzjoAPHh4D2BTdu3apVarwTjv378/Jydn7969rVu3xkFFDaMxjjFa3rRo7BqIvWjbaZM3JluXVIkx4nEjj41eTkOo3b7OHtE/AiFEEqRYLF6/fj3bHKnOC3pjBLdsBcuyhw8fjtJHARcJERE1KMq+zk6lUtRyqkZSfhtNX0bRK2hVkopABELIbDb//vvvkHvQLIeMeDQelJWVOZ3OVatWQaqiw+E4ffr0J598YrfbkXuep3+yf/TkaNM4U/TEaF1HHRIghFDAIwGOTxzUUopaRt0v1dNs1DKKXkUHPBoAgZeQkJDvv/+e5QyQNvT5qBvwgt7ogOPmZWVlLMsWFxfD1DgCEYSIMAw1ONY7qFQK56vUVM25RIcB0vjZ8eIA12hSjx49WHf1ruZEdB6NDWBWjh49GhoaihBKSkpKT083mUwIZoESSNdBFz0x2jTOZBxttEy1KEwKoGhwt2DHJw5qCXWf5L9F9RW09UOrLNSVC/D4449D1KU5UZ0X9MYFDzU/fPgwUJxEpEAhMAw12D+2gzeptZRzie4KvKyxm8aaCKFrHa+lS5ey7vuNBw8vAU8piomJQQj5+/sHBwe7gook0nXSWaZYTONMxrFG03iTcYwRPIdIJbJMtTDpzP3Yc0+qL6OY1YxlsoUQEdADmDVrFuumOi/oPGoDbu0UbmEWtlpOS05OjtlsBm8u0Upi3oxh1jC2VFst4ub34PoyG7OKCeoahAhEIEKlUh0/fpxtXkTn0dgAPK+srOzdu3eVvHHw5pOijWOMxtFG02sm8wSzyqqCD2XhMto9Ra6m/HdRfTUT2jMUkYggCLFYvH//frYZUZ0X9PqAsyq41TvhNVfZYRR027ZtsBoLQkiik8S8FWNf4xrZpzkThR5czaE3Cvm8OLWLYZi//vqrvLy82RCdR+MBZjuwa/v27Vw9D+wYGPdOnHmC2TzBbJlqiX4jGqs5QiiifwSzhuGmA9SY6sttdBqNM9OjoqJ++OGHiooKTPUmzXZe0L0O7jxP7vvXrl27fPky9x1YApRl2S1btigUCpc3D5RYplowietKyj17o0spejUdOz2WlJMkQZIkCaW7ml8aAI+GBaYTUP306dMwTRTbc1m4zDfON/iZ4JAeIWpGLQ2R4g81tIZeQduW2SAdoJZUT6WYVUzC7ASRRgS5AEOGDGGby6ovjUXQPSxqs1nX2GOeJ8uyRUVFr7/+emxsbHBwcFBQkNFonDx5ckFBQWlpKXxhy5YtMpnsljefGlM7S1LTDbIYw/uFQ/6vUCj84osvWPd0vqZ7CRobPKgO3SBuIR2nu2JPeXk5fqB6nH/8JhTE9/hmo71YHkNEZ86coSjKpeQCghAQt4RdTJCSKlVc1Da1dbGVXkFTyx8oHYBOoyGLUT9YjxASiUQCgWDVqlUsZ9WXBj5ND4CGF3SugYWyf9xPy8rKmkFXCNT8woUL3BosHujateuZM2e2b9+O1VysFce86Yq03P9E0No5F3o5TS2nbMts9EpaY9fAAfj5+Z09e5bllHlp4PPYxMGVckxsDHinvLwcP9oBFRUV3NleeCcVFRXVv4nvoEZ4v+CDB29+7tw5m80G3VCRSmQaazKOMiqiFKS0ajUuISGPlIf1CEv6IIlOp2EC0QNSnU6jqWWUfbVd29a1vJdcLi8oKGCbfhZjQwo698RhA8uy7IkTJ7Zt25aXl3f9+nV4By9i0rTONRwtWKfffvutVatWCCGhUAgciomJgXxEDK1WCwUUEUJ4FJQbN/eePa9S5mVRkjTI1c999NFHr169Wou1jbjXq6l3sx4cHlTHr7///vtvvvkmPz//n3/+4X6/tLS0qKho165dp0+fxm9yvQ5+GNy8efPYsWM7d+6EcWz8E/h3vdAalrtzj0t821/kvg9HnpOTA+UVCUSI1CLzBLN9rZ1ZzSQtSjK+agzsFOjn8FPTam1brf5lfcKCBPs6OxTkoh94AMm23OZKS19BU6m3xo1MJtPff//tdOfeVG8XtxXOqqj+fe+d9rujwQSde2rgDP7444/Dhg178skn9Xo92MN27dq9+OKLu3fv5n6taekCjHlevXq1bdu2CCGYQ9GvX7933333888/37Rp06xZs/71r39pNBqoqXLbSIu3gy1crkOE0fyGWejrevCMGDGC5TxT2TtfAg9y4/He6gO/Tesi1hUwh2/cuPHOO+/07NkzNjZWIpH4+/s/9thjAwYM2Lt37+7duwcMGNC+ffugoCCpVGoymZ555plp06ZdvHiRdcd5YSclJSX/+te/Hn/88cjISLFYHBUV1a1btxEjRvzyyy9sVQ9U561gOfpVycHdFc3p9uYZGRkajcal5hqRebzZRfVlNluazb7WnrwxmVnN0Ol08sZk+zo7xM3BWdfVveCyL1DRyM81CaN3795s1RVHq7fxftCAVG94hw5P7BUrVoSHh982FuHr6/v6669zqy40FTnAN/DGjRuRuwbLuHHjioqKiouL8/LycnNzDx48eOLECcjcEggFBEGIA8SWSRZmDYNLbtWbmrv8S6rNvs4e1jMM+hMEQSxevJh1T+27Z6sr3cucVsdDO8TKpfrmzZshG/W2VPfx8bntR3q9HoY0gFHjxo3jLvjARURExMaNG9mq6wvWYUNYd/T/trvlFr3i/jqUCWK5ak4QIhVHzTn0cy3PssxGLaVwnq430gGoVIpZy+gH65HAZbamT5/OuoPpXGWvKRqK6g3p0IHiTqdzxYoV2J8qlcqgoKCwsLDQ0FBfX19M01GjRv3zzz9Nax0GYENlZWVycjI0cNSoUUVFRZmZmXv27Nm7d+/evXsLCgqGDRsmFotJAQnF+JVmpXWx1dUr9HKk5faavsxmS7XZ19r9WvohhEgRSRBEWloay1nbqPolwF4G/ltWVvbzzz8XFhZ+/fXXxcXF58+f546FPFQmHZ8Zp9O5ZcsWTHWJRKLT6cLDw4OCgtRqNY7FCYVCtVodEhISHh4eGBgokbgqfZMk+eWXX/7zzz9jxozB94VSqQwODoZvyuWu6AFBEKDpdSsrWKBxwOfSpUtnzpzJysoqLCz8z3/+g2Ok2H5hNYdw/969e/38/OAgRb4i83gzlNnykOwqxVi8cwtgqkMuQPBTwci9jNc777zDsiwOgt24ceOnn34qKCjIyck5derUhQsX/vzzz9OnT+fm5u7fv/+HH364ePHib7/9VlJSkpWVdejQoV9//RUeXc6GKKHRYIKOn34ZGRmYna1atVqwYMHOnTsPHjyYk5OTmpqakpKC3Iu9TpkyhW1SUwDgIH/77Td4+AcFBW3evHn//v379u2DAqGg5lX8FYFIKWmeYLavs9tS60/KPYkO91I67Zvgi83j119/zbLszZs3q/s+p3uYjmXZa9eu7dq1q3///lyzGRISMnjw4N27dzs5afhN4iLWCeDGPnr0KFbziIiIqVOnbt26taioqKioCMZXCMI1WbdVq1YHDhwoLCzcsWPHlClTYHI8Qkgulw8fPhy5Y3ft2rVbuHBhRkbGwYMHv/rqq7lz59I0jc95RkYGWzVW9iDwUPPvvvtuxowZUHcFIJVKn3vuuQULFuDoEP5D+JP169ffUnONyPy6mVnLeHvA/36oDjNIA9oEIHfxu/T0dJZlr1+/vm7dumeffRbnKSCETCZTdHQ0/i9JkomJifgCIYS0Wu2AAQN27dqF441sPVK9YQQde7TS0lKKooDljz76aE5OTlFRUVZWFkheYWFhdnY2RJ8JgvDz8zt58qTHFACvgn2wKwFXdNeuXRBs6dKlS3Z2dmZm5t69e3Nzc/Pz83v27IncVeVkETKlUQn15CL6R9g/tnMnhdY/0alllG2FLXFhotKkBKaqVKqdO3ey1caouWr+559/9ujRg3sDcCEWi4cPH8422RGR2sHpnizWtWtXOA9Go3Hz5s3FxcVZWVm5ubmpqakea2kKhcK3334bnv3FxcUbNmyIjIwE+cCi37Fjx/z8/IKCAmBUZmbmwYMH9+zZk5ycDDuhafq3336D++UBeY6/g0OIBoPhtpcYIfTII49AchT0p+FPVqxYgb8g18tjpsUwq701taI2VE+z0Sto33hfhBBBEgq5Yv78+fh6Ye3Gz2O4Ctzl8Tz+q1AoBgwYAFa9PqneYA4dKJ6dnQ1UTkpK2rVrV25u7p49e7KysnBZ5JycnKysLIfDAadp7NixlZWV169f92qIyulO7+UW7qmFvkMbp06dCjwYOHDgoUOHMjIyCgoKtm7dyh0mVZqUxjFGbXtXElVY7zBmDQPzmxuK6C7nks4kzk+UG1x9eV9f3y+//JJ1Bxm5La2srLxw4cKTTz6J3D0qgiDsdnvv3r2h8C9y25+hQ4fC+ax1gLJpASh08eJF8KdBQUHLly8vLCzMyMjYvXv3sWPH2rRpA+enbdu27du3h9etW7c+cuTIrl27du/evX///tWrV4eHh8OyPgihdu3aFRQU5OXlZWdn5+Xl5efn5+XlZWZmwpuQVkCS5Mcff8zelbQguHislctzj79yuo32unXrxOJbCwMFBQV169atbdu28CYcXnx8/Llz5/AeJk2aRBAEBDTkennC/ASs5g1C79tS3ZZms35kVSWqEEJ4jSRgslwuh5JK3MyF6iAIIiYmhivrffr0gZGnetP0+hN0D08H0djRo0dD+59//vni4uJvvvkGgst79uzZt29fZmbm7t27i4qK5s+fDzMnn3vuuep7Li0tLS0tvXHjxqVLl/5y4/vvvz927Ni3d8Dx48e/++47/OXLly+Xlpb+888/d5IYyAWG6Rvcsaa7XyEQ9G+++QZUu2PHjrm5uUVFRUuWLAkLC8MCp4pTQcEKhd5VTy7q5agGdOi3uJ5mo5ZSzGrGMsWCMwFUKhXEZ1l3+MXpjqKMHz8eIQQ3dt++fb/88sudO3dmZWV9/fXXW7du7dKlC0JIKpUihObOncv98wdjVmMElyHw8Pvss88gBtW6dev9+/fv3r17z549GRkZ2dnZ8MCTyWTjxo2bPn26UqlECCUkJABb9u/fn52dffz48ccffxxOL0EQY8eOzcnJ+fzzz7dv3/7VV19t2LAhPT199erVy5cv37Jly1NPPYU9xPnz53/77TdM9WvXrpWWloJzvC3Ky8u50/rw1QE1z87OhiFNhFBKSsrHH3+8Y8eOzMzMjIyMbdu2zZs3D8fZkpOTr169ev78efC50A31jfdNXJhIp9dsja36kXXI74p/L14eKScIghSQQqFQKpW+++67K1euBN4ihCIiIrjZxgRBxMbGBgS4qvKGhYV9/vnnw4cPFwgE0C8fPXp0ZWUlDlR6G14UdG43DSZ/lpaWgibi+BrE4ORy+YIFC7799tuCgoKSkpKSkpJjx44VFxcXFRUVFBTs27fvs88+g8ImkZGRmzZt2rlz58aNGxcsWPDmm29OmDChY8eOHTp0SE5OFkuqrCh4//BV+Xbo0OGRRx4ZPHjw22+/vWTJku3bt+fm5p4+ffr333+HXCsuoC03b970qL3p8QJa+tdff0EIQq1WL1iwYPz48STheoYTAsK/lX/0G9Gm8SbTOBNMjRMqhTFTXHW4GpbiLk1Ppexr7NETo8W6W6d37ty5165dY1m2rKwMns3FxcXAYJIk+/XrV1hYmJeXl5OTk52dDfGl/fv3Y/9uNpt/+OEHtur8g6YLj4teXl4OpwUmCsHwWt++feHkvPjii2fPns3Lyztw4MDx48e3b98O+V0hISFz5syZP39+YGAgQkij0UycOHHhwoUzZsyYMGHCoEGDcEdHLpdrddraUd1sNrdv375z586vvfbaW2+9BYp88ODBc+fOeRSiYN0zlWBxHxB6WM9WIBCkpKRkZGQcOHAgNzc3Ozs7JycnNzf3wIEDH330kVarBQczYsQIfZQe/7SaVtvSbPRKGvc7G4+auzR9CeX4xAH5XYhw1WQfNGhQhw4doAlhYWGzZ8+ePn06bpRSqUxNTR0/fjyeQTJ06NAzZ86MHj1aJBIRBKFQKPLy8pzuBBBvU7EuBd3Dg2NFu+2Xz58///fffycmJiKE/P39J06cmJqaOnv27NGjR48ePXrMmDGvvPLKgAED+vXr17lz50cffRSLNeFG7Qh9P8A/4e/vn5yc3L9//xkzZnz44Ye7du36+eefPeaAsJxyBVxwG969e3fYMze4LPQRBj0VZH7DbBxrNL9h9m/tD1OflRal9aNbWS4NTnQ6jaaWUcwaJn5WvFwvRwjBOgPdunXLycnBbfzwww+hXU8++SQs8gsDvwB4nZOTk5CQANdu69at4F7vFNVtzKh+wKDjt+3hlZaWXrp0qVOnTgghoVDYr1+/tLS0hQsXLly48K233urduzdkp6hUqjZt2tA0facRCK9SPTQ0tGOnjq+88sqsWbNWr169d+/e8+fPezTkxIkT8LCRSqVffPFFTk4OTtbKzMzMzs4+cODAuXPnQO+4owKkhAzpFsKsZvDkoMaj5vhgqOUUtZSyr7WraTVCt6IuGGq1+q233kpPTx86dChyh19EItHkyZPT09P79+8PhgaWXiosLHzqqafgD99//33WPaJQ6/jtfaJuBJ17iNU5ffHixYKCgsWLFw8ZMqRX717PPffcU089ZbPZWrZqCb1LOC++vr44c+suIBFJIpKodr5JESkLl0mDpRKdRGlU+j/i75fi59/S/7abX4qff2t/lVUl0UmkIVI8MdLFckQQiBAggcdPSKSSxKTE9u3bv/DCC8OHD1+5cmVBQcGvv/56p0DNhQsX8vLylixZAt4KGABhFh+LT9TLUZYpFtMEk2WyJaBtAG5e+Avh3HXNG3zDJY3odNq6yKqm1Ph2ValUgwYN+vTTT//888+nn34aWpCamnro0CHs2nJzcyHIm5+fX1hYOGnSJDgVc+bM8aAQN4zbaGXdg+rVD/L06dNff/315MmTX3rppZ69enbv3v2Jzk+0atVK4+eKVAgEAl9fX6WPEpP/LlQHKlb/SKgQigPEIj+RyE+kMCh84319Yn1843x9Yn1U8SppsIvPEp0k4JEATbJGGiyVBkuloVKRUuRBdbihPPavUCpstO2ZZ58ZMGDA1KlTN27c+NNPP61fvx4+TUhIOHLkSEFBQWFh4eHDhw8dOpSVlfXpp5/Onj2765NdcRIIhFmkwVLTeBOzluEu69zgrL4Nz5fZ6JU0Xk5aoBBAPB1q1SGENBpN//79Z8+eDaNfGD179kxNTX3vvfe0Wi1CKCoqavPmzQcPHkxNTYUvDBgwgGvvuFRn7yNyWyPUgaDjw+LWpigrKzt06NCkSZMSEhIMLQwB2gB0fxAQAiEphE0gEAhIgVAkFAgEwGqhr1DDaIK6BIV0D9EP1htfNZpfM8dMjYmZGhM7IzZxfmLC3ISEuQlJC5Mgw9SWarvtBtPSrB9ZE+YkJM5LTJibYJliiXkzxvyaucWIFuEvhAd2CfSN9xXKhQKBQCgUigQiESnyPFShIEAbEKmPjImNiU+IpyjKSlmtlBVeJCQm6Fvo/fz9uDcLQRCIQISQCGgXYBhmiBwYqeuok4XLEIngaz4xPrY0G170tvFsroqMK2nbcltYrzBCRGAVkMqkBoMBQucQCF6zZs2nbmzZsuWTTz6ZN2/erFmz5s+fP2LECPgrmqbPnDnz22+/QeiGS6c7VaRqcOCj4lbmczqd586dW7RoUetHWsfGxYaGhSp976HUt/iACBx/QwgJBAIQQYQQKSHlEXINowl4JED3uC6sR5gkQIKQq3ukcWiMY41RL0fpX9EbRxlN40ymcSbTWJNxtNEyxeJjcQWyg54Mcqx3WD+0AskT5yXGzYyLmRpjmWIxjzMbhhpCu4fq2uvkEXJSSAqELqpX13epTBoeGR4YGAimxM/Pr1+/fs+/8PyLL76YkJhgNBojIyMDgwLlCrnHH/o/4p/4fiJ3llzjVHM6jYb5dC1GtYBIi1AljJ4UreuoIxGf+2QAACAASURBVES3HqhCkTAgIACcOHJbNIPBMHv27JkzZ0L3hSTJcePGbd26deLEifA1nU5XWFj4119/eYQrIBZdt7L+QIKODwKHViorK0tKSsaNG6fWqKtHtElESpQSia9EopLItDJZgEwSIMFaRgpJH4uPilKpElS+cb4BbQKCugaF9QwL6xkmUosQgQgREdY7zPGxA0qOMKsYZjVjX2O3r7VDIQjuat/3dRVX0K41wlcxsBP7Gtd+oM4D9RGVMDchelJ0RP8ITbJGFiyTBkilGqlYJq5O+rvftyK1SOzvPiEkIoQEISAIEcHtBijNSuuHVnqFK4+q8VAfx9Nty2y2FTZ6FR3zVoxvnK9IKfLwj5DOJRQLxRKxa5OKxRKxQCgghSQp5KR2EUgik8jkMl+Vb5s2bebNm5efn//zzz8DtTCjGolVx4cBA1zw5i+//PLBBx9EW6IlUkl1Gy0UCMVKscRXIlFLZFqZxF9CiAhgDUEQEn+JRCdRJapUVhXuIIo0IpHaJRaqJFX0pGjjaKNpvMky1RLUNQgJXXcKIpAkSKJ/RW+ZaoHRF1Bz0zhT9KTo4GeCSQmJCCT0FZonmJm1jG2ZzXVrpDPM6ipUhzuFWkJZP7LGvxdvHm8O6xWmSlJJA6WyAJlYKRZJPH3MPakulApdIkgg4xgjt7vZeCh9R0Ef6RrwlARIzBPMMdNi8NJ3d4FILMIqjxASCAViiZib7iKWimUKmcZP06tXr9TU1MLCwl9//RVYxA3PPjjVay/ozqrD3yzL5ufne06TQYgUkPJwuSpWpabUgR0DTWNNlsmWmLdirEus1sVWJp3xf8Qfrr1AIQjrFRY9JTpmRkzMWzExM2IsUy1Rg6Jw/9HH7EOnV1veexlnu8PK3/e1Vd0JyD29kqZX0kw6Q6+imdWMfZ3d+qE1/t14wzBD4BOBaptaFadSGpXyULk0QCqUCoVSoVAmFMqEQqlQ5CNSRCp8Y3zVlDq0e2ji+4m2NFvw08ESnaQ6IcQBYv9H/K0fWumV7npyyxue4tU1ncbLvqQzzBrGMtWifUzrG+crDZRWb1QtoFQq33rrLVhEhmVZWPLRg2/1D/zT+GDOnj07d+5cnNuAIdVKfcw+qgRVQOuA0B6hptdM0ZOiY2fEUksoW6ot9LlQoDpCSNtea5lqiZkeEzMtxvyGGa/pChCpRabXTNFTomGFh8AnAvEDQ6RyCYdEJ4noHxE9MTp6SnT0xGjLVEv0xOigp4Nw1VlVkspVqnPZHXlenepgbpjVDPURZR5vjhwQqW2rVSepVbEqsabKQRIighASpIgUSARilVgeIlcalKpEVVDXIFdngkBJC5KwNWnMak5DyCWdjns3DgRHoBQYRhjMb5iDnwkG10VKSWmgVKi4d1j4fqDT6WbNmnXkyBFglEdBzVpztZaC7hFmOXPmzODBg+EZhYcrfWJ8AjsF6ofq4+fGM+lM8sZkxwaHyxGnMzAKYUuzJcxLULRwPQMJIeFj8fFL8Qt+Otj/EX9Vokro454PrRSaxpogfZVeXk3W62Fb5g6DrKSZNYxjgwNKCFFLqPjZ8bHTYo2jjMZRRuNoo3G00fiq0TzenPR+Er2STt6U7FjvAHvr2OCIfSc2/PlwXQedPFIui5BpH9OG9giNnR5rX2+n06pM1Gy0G5Z1Op12bHTQq+m4mXEahytGLAmQqCm1Qq9QGpQKg8In1kdj06htag2l8Uv2EyhcXRJVosq/lb9vrC/2pBhyuXzYsGHnzp3DMuoRW/f2yNJtqY7nwb799tseZTKlIVJtO21Y77CYaTEwlRyqSjGrGSA8zNJKWpzkE+sDSocQUhgVfi39grsF6zrpcFYoQKAU6DrqgrsF+7Xy84nxIQSujpCaUhtHGbGmC5QCVaIq4LGAkO4hfq38fON8CbHr7oMShswqV7XO2lEd7HzyJ8mO9Q77WrthmIGUkQghQkToOuhCe4aGPBsS8lxIaI/QyAGRxlHG6EnRsTNjI16McDEhUGLjrBPUyDdqmat8tIpSIYQIARH8VLDlTYvhFQOQVqQWhTwTEtQ1CBdoBIj9xfJwOe5/kzJSaVb6OfzwO9JgqdqqVpqUOHqD+7UBAQFvvvnmH3/8AWS7E8/vn+o1FnRu3xNefPHFF3jamIAQIIT8H/GPnhhtXWS1f2x3fOJg0hl4AFaJC69w+750OvH9RM9+TdXxSKFCaH7N7PjYAc7illWs9bbswbZUG7WEAttlW26jV9BMursn696YNQz046gl1K1iQ0soeiXt2OBg1jAJcxMS5iQwq5nkT5LpdJpaUtVJNYltmc26xEotoezr7abXTUBVoVIY8myIebwZrwkZPSk6elJ0zLSYwE6BpJhECBEkETM1hlnNJC5MjJ0eaxxljOgXoUpQIYRwLMtoNPbq1SszM5NLP4+ydlzN9QYw1UHNi4uL8dx6GMBXWpTGkcaEOQnMGsZVI9D9tPMgKsQJrR9acTUF170tvGO+lsdHaqva+qHVvs5uHGPERsclIuIqAUCRr8gy0eKKdTwYz21LbRCQoZZR1FLKFZ0nkG+8b/Qb0ZaplujJ0dGTol2pt6+bDMMMkkBXHzSoaxDED5uEoNuW26xLrMkbk7XtXCmhAh9B2PNhMdNisOeQR8rD+4YHPRXE0SYU2iM06Mkg3MfyMfvEzogN6hokULhG/iJfjKTT6cR5idFTovWv6EOeDXGNu7plLj4+/pVXXoHptXei+n1qes0EvXqYZcqUKZByD0mXvvG+0VOirR9Z6XTalmqzfmi1fmilPqJA/qpvrtWkVtGJHyT6tfQTKASkjHTxmESkjBTIBWpGnTA7gV5Fg6OnV9C2FTZ6BQ1hkFpuaxn7Wjv8W+Nt9a2NWcXgPgezsuqWzsCnt76fbrevtDMrGGY5w6xgHGscjjUOZgVDL6eZFYx9pf1u2wq7Pc397/1v+PvL3f/WaLu/X6GX08xyhl5C+9lclToIERH8dLDxNdcKv8YxRuNYoyuTh0AEIkKeDElem8wsZ5iVTPLa5OSPkx1rHHQqHTctzo/2E4qFQuQSLIVSkZCQsHbt2suXL1fPJvJGQUFMdQ81/+qrr6BanEAgIElSEiRpMbJF0gdJMFBs/chqXXw7qi+l6BU0bNRyik6nkxYlhfUOE/mJSCnpWqOHQISIIKWkNFQqDZGSUpJwj00QQkKgEAh9hYGdA6k0il5D0ytp+zp7/Ox4jUMj9BWSUtcTkBASAqVA6Cv0a+mXMD/BscFBr6ZryfA1dvuqqjxfzdAraMcGh/FVIw7pKM1Kw3BDizEtTONNpvEm4xijfqgeB9+kWmnSvCT7Gju9gmZW3ovesNWC4fhPMF0fgORwY9oW2+QhLg8ukAnC+4aHPx+OV1NSGBXKaM6gN4nUlFoa6mq10FdoGGYI6nJL8f3t/nDj21fak9clJ3+cbE+32z6yxU6J9Y3xFYqEWNb9/PwcDsf27duvXLlSnZD3SfUaCDreEQwKlZaWTpkyxdUoCP8LkDJGqYxRKqOVCqNCYVIozHfdWig0LTW6LjrtE1pdV13gk4H+j/n7xPsIfAQgCnKT3K+Nn66rTveUTvuEVtdZB5u2s1bXRRfaNzTi5Yjwf4VHDIq4/y38X+ERgyP0Y/SGcQb9WL1hnKFm22sGw5u12qYaDG8bDO9xtlkGw6yq79xlm28wvF+rbaHBsLi226L7+gn9Ar1+vt74kTH4tWCkuUV1gVzga/XVPaHzifOBrjpAkigxzDEY5hn0c/SGuQbDHINhjsEw12CYb2jxfgvjIqP2JS3SIVJaJZ1OoVAMGTJk48aNn3/++WeffbZt2zboqHqj+iY3aA5qnpaWxs06RQjJImU+cT6KaIWL6iaF0qz0ZLhRoYxV6rrotJ1d7NU+odV20QY+FRjQPkBpUboCUEIkC5dpkjW6zjrdEzqNQyMNl8JtLtQI1Snq4D7BEUMiwl8OD/tXWPig8PB/hUcOiYwYHBH8XLAyRklIXFkZars6uGdwxOCIiCERUSOiasnwcQbDJIPhLU8C66fq9VP0xreN8gQ5IlxRI0JMKEwKbSetf1t/mV7mCiSQCMmQbqDOuMCof1evn6W/N71nGQxzDIaFtSX5Bw9A8g+qknm+3rjEqH1ZizhhFWmo9LZDX9UhDZdyh0NILRk6PrTFwhb62dWoPr9Fi3kt/Hr6IX9EiqrkYatUqsmTJ2/evPnzzz/funXr5s2bjx49yt5feP2+BJ0bxAE1P3/+fJ8+feDncZ0aknSlzd7/Vv2MQCIXSZIkcZtk80YBJUIK97/3v0kR0iKkRyiyVlscQkkIJSKUVJMtESErQg6Ekmu1tUKoM0Jd7m97AqFnEUpB6C7MJxGKRKgfQn0ResH9r8fWB6EhCI1CqDtC8QjdOQOwXbt2Fy5c4HZIHxxcquPErdmzZ+PxoVpQ/U7Hf4vqpCfVCUTc9v3b78c10a7ubhYhQj6347AcITlCfp4R0dsgACEzQhH3Te8IhFogZK05w4HkdG0ZnoxQB4S6VmPyMwhZEarlxHOEEEIEQhqEnkJoAEJ9qlH9RYSGIDQYoREIjUCoC0ImhO6cWBAUFJSVlcXeh325t6Djv8f7ysnJgaVduXk5PBo/avq4JRBBiAlCQhASgpSS997EJKEgCClxCyRBCAiCdP9XQBBBBBFIkDqSDLzDpiOJMIKIIggzQZgJ5B5bIQgC6mOIRCKhUAhp7+PHj2fvMJ2tFqgeZvn99989Su7xaOSoMcNJgpAShIQgpLdITkgIQkEQEg6NSaJmIAlCQxAhBKEjyKBqJA8lSQNJGkgiikBRCEUjZLzlhKAEG6Y6mIkOHTrg9RXuwuF7CDqX4vDOBx98oNHAXEEhdEJNJhPk1c+cOfPdmmPmzJmzZs2aOnXquHHjxtccr7/++sCBA3v27NmrJoDvd+/ePSUlJT4+PqkmSExKTLImWWIsQpHQdaXvcxO4NzBe5H1v3C/zcEMgEEgkEkj8qsPCjdjBZGdnR0VFIYRIUgAhhtDQ0FmzZtWU6vDlmTNnTpgwoRYMnzBhwsiRI7t3714jhgPJ+/Tp06FDh8TExFowPDEp0T/A//ZMvg85c/H2PnlOVH3NoyoIghCLxcePH79n1OW+Qi5wt/z999/9+vXDPyESIZFIgBDq0qXLg99FDwJnzRf9w4AiSrXDtRri6tWrV69evXbt2oULF06fPn22hjh9+vQPP/ywe/fuTz755NOaYPPmzVu2bNm4ceOkSZNGjBjxak0w8tWRo0aPGjhwYHx8fAtji/vdODAYDGFhYWFhYeGAiHtvYRFhYRFh4RHh2kCtSqVSV4VGo8FL8yQnJ1+/fr1OHDrXm//zzz9z5sxxF4klEUIiEYkQcjgcdUHY2qDWDC8vL681w69fv14Lkl+7du3//u//fvzxx5qS/MyZM+fOnTt69OjmzZs3b95cI5Jv2rRp27ZtCxcuHDJkyKhRo2pK8tFjRrd5tM3dmXwXhIeH32I4F3cleXhkeHBosNpPrdao1Rp1dfj5+eHqlVqtFlYOeSBBd7rnYV+9ehUqI0KYpU0bv8GD5SoVgRDq3LkzJKRX3jmJ8i645yHyqCvU4urUCeBW/999A3//3Llz+/fvP3jwICzrU1hYWFBQcOTIkWnTpgHLly5dytbduCioeXl5+ZAhQxBCMKEiPFzar59KpxMghJKTHU73vP/7bz7LM7we4SUO3x03btyoEcOB5NevX//jjz8OHTpUWFhYVA0FBQVHjx5du3YtUL1Tp04wfnl3Lt1D0Cvd1QbmzZuHEILFUl58MbCw0LFoUQD4pCeeeML5AILOo0aotVN7EFQ8GOryfmVZlmU3bNgALP/ggw/waXnAfTrdo6CbN29G7upjDofPjh3WTZv0Gg2BEHI47M6aCzqPmqLJkbwuSH17HD9+HKjeoUMHWJfV+YAOHTB+/HiSJBESDBwYdPAgXVyc/O67GqgW17lzZ/YhXtCdx53grFZOuRY3Nve2gZLcFRUVq1evxoLO3l861z0Bd7XT6YQieQRB0rTPN98klZQkL1kSHhBAgkNnvZMoyaMpos4ZzgXUvTh06BAWdLz29F0O6d6CDnOI3J5I8NRT/rm5VFFR8uzZfgrFLUGvn/LtPB5mON1OHPdDFy1axNaRoDvdSxDk5eVB6JyifLKzqcJCe1pahL8/wQs6j/oEGP/Dhw8D1R9//PE6EHTWrdSFhYUKhRwhpFAIsrKoQ4dS3nvPDxx6p06dWHfBjTpqCw8et4FXBZ1130I//PADrMgsEBBffplYXJy8fHkE79B51DO8JehwC/3555+tW7dGCKlU4q++SiwuTp492yXoTz/9NOteH7JumsKDx+3gbYcOSl1WVvb8888jhMRi4erVlsOHHcuW8YLOo77hFUF3ugcobt682bt3b4SQUilavdpy5EjKe++5Qi59+vRhWbb6wmw8eNQtvO3Qne5x0QkTJiCERCLRvHktjhzhHTqPBoC3HDoOo8NKenK5aMGCFseOtcQhl169erEsW1payrOch1fhbUGvdK/O/t577yGEBALhkCEhJSUpvEPnUf/woqCDWE+c+AZCSCgUjRgRevJky3ffdTn03r17sywLKTU8eHgP9eDQgcYLFixACJGkqHv3gOPHk1NTeUHnUd/wlqCz7nAK1FYkSWH//oFnzrQaN84PlnTmBZ1H/cDbgs6yLNwzaWlpCCGCEPTooT1+nHfoPBoA3nXoLMtOnjwZISQQiAYMCDp3ruWQIa7i17yg86gf1INDh8l4mZmZkNNFUT4nTrTkHTqP+ocXHTqINTh0EPSzZ1sNHeoHc6N5QedRP6gHhw7DRdnZ2Wq1CiEUEiI5eTJl6VJe0HnUN+pV0M+d4wWdR32jHgQdHHpWVpZK5YsQioyU8g6dR4OAF3QezRz15tBzcnKgRjTv0Hk0FOo1hn72bEte0HnUM+rNoe/evVsmkyKEEhKU1R06X7aIRz2g/rJc+vYNPHeu1Suv8ILOo15RD4OicM+463MJund3Zbn4+0M9dDvrLuP14D/Ho/ED8wqX02LvJal1BS869LKyMqfTOXbsWISQVCp65x39d9/xDp1HfaMeHDrQeOHChZCH/txzVfLQ27V7lGVZuB3q5Od4NE5wtbuysrK8vBxqVcEL/JFXaeBFQYd+6LBhwxBCcrl4/nzjyZO8oPOob9SbQ3dPLBK+8ILu2LGU1NTwgAACIdShw2MsT/XmDsyliooKkD4PgLJ72617sTgXPJ0GDhyIEFIoRB9+aDp5MmXYMF7QedQr6mHqP9yoU6dORQiJRMKZM/VHjqSkpUXodCRCqH37dizv0Js1sEzjZSsuXbqUn5+/YsWKDz/8cOvWrf/+97/hfTw27iUyeEvQYb83btzo0qULQsjXV/zZZ/HHjycPH143gu6sBryGSPWPavcTjQF3aiO3maz3+3FeBbcJ3riU9eDQge3jx49HCIlEorlzDSUlye+/HwarLbZv/xjrnk3Ko/mBG2ZhWfbHH3+cPn16+/btRSIRXv46Ojp60KBBBQUFLGc0xRu3rRcdutPp/P3335OTk0HQd+xIPH68bhw6PhF3H2XCnzZRsav+2K+Opp4Mhw/+LpfSyVkrrhaNrQeH7nQ6b9682bdvX4SQWCxcuzbm229TpkwJgSoXjz3GC3pzBnYhLMseOXLEbDYjN4RCoUAgEAIPENLpdPPmzWO9edt6q3wu7PfkyZOhoaEIIV9fYXY2VVKS8uAOvboEXL58+dixY3PmzBk4cOD06dNzc3P//PNP3DyvdnC8Bw/rff369Z9++umTTz4ZNWrUkCFDtmzZ8ssvv9y4cQN/uSmadHzM+In1559/ZmdnT5gwYdCgQe+8805hYeFff/0FH8F3atFMbws6HNiVK1eeeOIJhJBEIvzss4Tjx5OnTAkRCBDv0Js3uAQuKSnR6XQIIZIkhUKhUCj09/cPCQmRy+Wg7PDRwoULWbemNxmHDlMt8vLy5HI5Qig6WpGbazt69EFDLviwYP+XL1+eOXOmWCxG1TB69Oj//Oc/bNNc5Q73P+CqFxQUxMXFVW9jYmLijh07nO4FiNkm9dzChwojSGfPnoUYdHXMnTv3v//9L+u+6GwNm+lVQYeT73Q6f/zxR4PBgBAiCGLXrqRjxxxTp7ocOi/ozRswXvi///0vOjoaJFsgEBgMBpvNRlGUzWaz2Wzx8fGghICdO3ey3slk9ZZDhwrRn332GfQ8OnTQ5ObWmUOHW+jy5cuPP/443EIeEgDvGI3GkpIS1msPQy8Bqzlcm9mzZ99W5jDGjh3LcmSrSTTTI5p05MiRwMDAu7TRYrGcOXOGrdXj2dsOHR4zR48eVSgUCBEhIZI9e6wlJQ4ccuEFvRnD6c7PXrhwoUAgIAhCKBQajUaGYaxWK0VRFEVZrVabzZaUlKSA0uEI0TQNItY0HDoe93evsy546aXgvDyqpKQOHDo81i5fvvzYY48hhCA+5ePjExwcHBERERoaqlarCYIgSRIhZDAYDh06hIWjSYgdy8ljnTNnDo7BiUQinU4XHh4eHh6u1WolEgm8iRAaN25ceXl505q64nQ64ZgPHDgQEhKCEII+qZ+fX2hoaEREREhIiEqlwu9bLJZjx45VVFQAte7/UnrboYOgZ2VlAdVbtVJlZlJHjybzDv1hgNOdnw1LswmFwrCwMLvdDmoO9hw0nabp+Ph4qVSKEBKLxZD3UufBdC/G0J1OJ2TmIkROmhSZn287etTxgIKO2z9mzBh8q+v1ejhfdrudpmmr1WoymSQSCfj0du3asU0q8IIF6Ny5c6DXCCG5XB4XF0dRFMMwDMNQFJWYmKjRaJC7i5eRkcE2nWbiB3NpaWmvXr3gUpIkaTQaKYqiadrhcNA0TVFUeHg4fm6NGTOGrfnC4l4VdNyR2rZtG1C9X7/AnBxe0B8WwNX/5ZdfKIoCpY6PjwdjDlKOXyQlJdntdgiyCwSC+fPnYzdQ58dT9w4d7pZRo0YByz/6yJyXZ3tAh47vzO+//14mk5EkSZJkVFQUCJzVasV9HIZhLBaLWCwGn56amop7Rvf/cw0FfPZefPFFrOYJCQnwrKLcgIe/SqUiSZIgiF69emGT3vibiS/l7t27SZIUiUQkSZpMJriUXNA0HRERAV0uiURy8OBBbBdq+lteXSTavXNi9OiwvDzbkSN8DP2hANjzjIwMGMmTSCQ2mw3fp9ihw5sMw4SHh4PRbNmyJfx503DoLMveuHGje/fusN/Vq2Py812DovAOXlO0RocLDnTlypWg1AEBAdC7wR0cHLSy2+3BwcFg4fv378+ybFlZWZOISMDZ++eff9RqNRhwi8WCQ3LcThz4dAjIREREnD59muWMHDZm4KfOjBkzgA9hYWFgybmXEl7TNK1Wq+FSbtq0ia2hSfe2oMOLiRMnws7ff9904IDt8GHeoT8UAEXevXs3dCJlMhnQmCvomMx2ux0Leps2bVgvTDere0HHnuWPP/7Q6/Ww323bEvLzaW6WS58+fVh3Aa/7BA5XPfPMM7Db0NBQHK7iAkYhwKQjhFJSUi5evMhy0uMaM+Ds5efnw4VXqVRJSUkenTj8zLfZbNBZQQht27YND0c3dCPuATjC0tJS6KgihMxmM3ccCd8D0MaoqCj42rhx42o6xO1tQYeO8wsvvAA7X748uqCA5h36QwKQlPPnz+OQS0JCAr43uYoEYWF/f39wabNmzcKCVufHU8cOHXb6ww8/gKuKjJR+/XVSbq6tpMSBHfrQoa+wNXToEK90Op2JiYkQVzWbzfA8tFUFFgUYOdTpdEVFRd6IWHkDcPagSiVCKCgoyEPpPNoYGhoqFAoJgli6dCnLshB4aehG3AOgg5cuXYI2ikSiuLi46pcStzEmJga+2aZNm//9739sTca368GhX7lyJTg4GCEkFhOffBJ34AAv6A8LcAJIz549EUJCoTAkJIQbNuBazISEBJlMBpGZkydPsk1iUBTfP7m5ubDTrl39s7Op7GyqpCR52DCXoL/66ki2hizH9rNly5bwlIMAevWIFSApKQkcutlsPnv2LNtEwhFwSdLT08Gha7VaD2POjcrZbDatVgsPzrS0NLaJjIuCmF65cgX6FgKBIDY2lqvg3I6qzWYzmUxAm86dO1+/fp1tNIIOe/79999hz3q99IsvEvLy+JDLwwKnuzTbvHnzkDtDwWw22+127m0LA2CQgIcQCgwMbDJpi3hcDspDI4QGDw45cIDOzLQePZoyYoRL0EeOHMHWPIYOPZTJkyeDEAQGBtrtdohIcOUAejd6vR7KKXTr1q2ioqKm2RENBbjMP/30E7RRKpVyO3FYzSl3LpRYLCYIQiwW7927t6n0QoBe5eXlzz33HJ40AKT3iKFDq4ODg2EMfM6cOWwNZ2TUg0MvKiqCPT/zTEBOji0ri+Id+sMDTLA2bdoghAiCkEgkRqMxMTHRZrPRNJ2UlBQbGwtDYmDPDx48yHqnAIBXHDpg0KBBsNPp0/WHD9v37KGOHUseOBALeo0dOuueyp+Xlwdip1Qq4Yb3GDCE15ABgtxTb0pLSxu/dWU5k24gOxshVL0jAmLHMIzZbIZBUYqi/vjjD7ZJjROwLLtkyRK4B9RqNRZ0jy6I1WqVSqVwKb/44gt4aDUGh46Hiz744AM3q8OKi5l9+6x82uJDAqd76r/T6SwuLjYajeDTEUIKhSIwMDA4OBiG9AmCEIlEYrEY6OelbDSvOHR4EREBGcREaqoZBP3kyZTOnV2CPmJEbUIuTndhE4ZhYD9+fn7wGOT2biiKCggIgC/4+/ufOHGCbSLxFpbTxUlLS4MmCIXCFi1aQEoffmJBaiZ0QRBCkyZNcrprADT+55bTPdXru+++Cw0NhRtAp9PhtEXutGk/Pz9oY2Ji4vnz59kaPrS86tDhTu7Rowfsedq0qJISx5491JEjvKA/LAAiAceOHz+Om68gvAAAIABJREFUw4O3xeuvv86yLCx5wXphqqO3HPoff/whlYoRQnFxih07Evbvp/fupb77LqVTpwdy6FitPvnkE3yONBqNxWLBzi42NhYkAGRi0KBBrDuy3PiVjuVMy/rtt9+CgoKQOzAXERGRmJiIhwf0er1YLIboudFo/PXXX501TNBuWODn1rhx4xBCMNrh7+8fHx+PjXlMTAxMFgWsXbuWrfml9LZDZ1k2IiICIaRUCpYuNRcX2/fu5ScWPXTA0c5ffvll1qxZeJY/xjPPPJOTk3Pjxg1u+dw6P4w6FnTsvL766iuxWIgQ6trVf/9+OifHtncvdfJkyhNPPJCg44dhZWXl4sWLQbJFIpFIJBIKhXK5HF7gepW9evWC9PMmET3HgNNYUVGRn58Pmi50QyaTQfE23MyoqCioc9KE2oivo9Pp/Oeff/r06YP7InA1fX194TW+lPPnz6+oqICrWaM7wXuCDo/Pn3/+2d9fgxCiKJ9vvknKz7fxU/8fNuAwKe47Xr169ezZs2vWrJkzZ86uXbv+/vvv2pWWqynq3qHj1Vsg3/yll4KPHXNkZlL79lHfffeggg7At+KiRYsgrxPLAS7UJZVKhw4dCoOuTbE4l9Odo5qXl5eSkoLbyC2vjBCyWq0wn6iJFn+Hwy4rK+vbt6+vry/3UuLXgYGBixcvZmsbdvSSoGNH9tlnn0FntGtX/yNH7FlZVFaWS9DroXwubgWoSVlZWWlpKaSu4ve98bs8PIDP9l1Yyr0oXroude/QIbOwXbu2CCGBgJg6NaqkxJGZSWVm1oGg4xOBTXdeXt7rr7/erVs3HDTv0KHD6NGjd+zYgb/f5Djt8cAvLS2dOXPmgAEDYmNjoY0Gg6FPnz4zZsyAcuH4idWEWspVIniRkZExcuTIdu3a4TGlJ554Yty4cXidl9rdDN5z6DDNb/Dgl2G3/fsHnTiRvG+f1cOht2vXlq3r1Ra5lxs3sPp3uMRoQtxoovCgNI4leFyCpuTQMYfi4mIRQmFh0vXrYwsK6OxsW906dHgBFsnpdF6/fr2kpGTHjh3Z2dl//fUXfIE7Z7LJsRkfMO7EOZ3OH3/8cffu3Tt27Dhz5gzuwTWJtJY7wUOSnE7nxYsX8/Pzd+zYcfDgwcuXL3tcykbl0KEL1bp1a4SQVCqYMUN/+PBtHHq3bt1Y7zh0rpRfvnx5586dI0eOfPrpp99///1vv/2W+zWPFzyaK+pY0HHqQlhYCEKIonxzcqjcXConp24cOga+vcvLy6tPn4U3vd278Ta43ZHb1ny4efMm1sEm2ka26qWs/nAqLy9/wOCjlwQdzNfNmzdTUpIRQsHB0g0bYgsK6JwcVwx9ypRgkkQIoRdeeJ51T6GoK0CjYJ+nTp16/PHHg4ODlUoljlP5+fnp9fp58+bBd5pE7hOPB0cdCzrI6LZt2+RyKUIoJUV1/LgjM9Oam2urW0EHcP0dVMr2iB42AxJz24LbyJ1m1jzayO2l4jbWyaX0kqDDY+bUqVN6fRRCKDZWeeAAnZNjy8mhsrJcaYvg0J9/vg9bpw4dk4Fl2d27d+MZKwAIWGEMGDCgKY4k8agd6lLQne4StbNmzRIICISIp54K+PZbR2YmlZdHe0PQefC4J7wk6OBddu3a5evrgxCKi1MC1cG7HD3qeOONYBihf+GFPmzdOXTcaWOrqrlYLFar1YGBgSEhIf7+/uDWQdz79u17/fp1Xs0fBtSxQ4fqiVDImySFI0eGHTniyMqyecmh8+BxT3hJ0MG7LFu2TCgUIIQ6dfIrKXFkZVF5efS+fdSJE8n9+7sW1Xv++boMueCuTGlpKS5CqVAoYmJibDab3Q2r1arVarGmQ50fPvDS7FHHDh36oZBWrFCI5sxpcfAgAyznBZ1Hg8Abgg56yrrLoJOkcNCgkMOH7dnZt7xLr146+Lk+feo4hg6dg0WLFsHaJtz1TwBJSUkwfRo0XSAQWCyWq1evOu+aVMejGaAuBR0vxwXrWqjV4rQ0C6S48ILOo6HgJYcOndHJkycjhGQy8bvv6ouKmOxsl3c5eTK5Tx+vOHQYIWdZtmPHjiDW4eHht13EEv7r4+ODEFIqlVlZWWzTKYDBo3bwikOH0hYqlWT58ujCQiYnhxd0Hg0Grzr01157DSEkl4s/+MBUUFCF6l4SdBgPv3LlCqyoIJVKIdjCXVEBa7rD4cAz7yZMmOBsOgsx8qgdvCroYhB03qHzaEB4Q9AhFYdl2ZdffhkhJJeLFi0yeXRGvSTo8LuHDh2CJTXkcvmdyuVDBbfIyEiYdvvss8+yTWchxhqBm/GFr+nD+dzyashFsmKFpaCAzsnhY+g8GgxeEnSg7ujRoxFCUqn47bf1RUVMTs6tGLpXBf306dMGgwEhJJPJqi8djosPMwwTEhICFdx69OjBNp0i0vcDDx2vdAMnvGI09JHWH+o+bZFl2X79+iGEZDLRtGn6gwcZ7kgRL+g86hleDblMmjQJISQQCAcNCi4uZurBoYNgVVRUtGrVCiEkFotNJhOMiHqEXJKSkux2u0ajQQgJhcJFixbhO7QZAF877CM9gKfdsw+TW/dK2uIrr7wCwzXDhoUePcrnofNoSHg7bRH22bIlzKGjvO3QWfdd061bN4QQQRA6na76oCgkuiQkJMjlcoSQSqWCIm5NqMDyXYBlGkv59evXz5w5s3fv3l27dp04ceLKlSvwPm5vM2j1/aCOBR1YvmjRIpIkEEJt22qOHrUDy+uwlgsPHvcPLzl0EOi9e/dqNGqEUEyMoqiIyc625eS4Cot6SdCxiu3du5cgCIIgBAJBZGQkXsQSMhdhqRBcwLJTp07NZqaoh5pfu3Zt0aJFPXr0gBU7YWGgTp06vffeez///DP7kGl6HYdcYHcnTpwIDg5CCEVFybZujd+/n87OxuVzNfBLI0bUZk1RHjxqCi85dJCJv//+Oz4+DiEUECBZudICKQDeFnTcIrxSEkmSwcHBeG5RUlKSyWTiliM+fPgw26Qq5t8dWGr+/e9/t2/fHhfNhoVncaspioJkzYcn+76OHTqM/judzoSEBISQQEBMnBgJ9dA9Qi7jx49neUHn4X14SdBxPPrZZ59BCBEEGjo0BGb/Z2ZavRpyYd2B47/++uvJJ5/EWiaRSBQKhUKhkMlkIpEI69r69eudnFK6dXgYDQJ8QX/88ccWLVpAdBcW7VSpVH5+fiDrMBTs7++fl5fHPjSlbOq+fC4I+rx58wQCEiHUvbsOuqJuh+7Kip0+fTrLh1x4eB9eEnTWvZbLp59+KpNJEEKPPqrOz7dBZ9R7E4vYquVcLl682LNnT+56IFwEBgauW7cODrV5uFT8ZLpx44bZbEbuBRqNRmNSUhKeKGuxWGQyGTh3lUp16tQp5x2qxjczeGWRaKfT+dNPP0HXJzRUsmlTXFERs2cPdfJkMl5TFAS9bm0LDx7V4T2HDlS/cuUKzLBXqYRLl5qLi5k9e7zu0AFYodauXdulSxeGYWCB+bCwsEcffXTw4MEXLlxgm8tAKAZUPpg1axacXpFIZLFY8PLieAn1uLg4uVwOmt67d2+22Z2H26LuHTr+S5jJhhB65x19cTGTkWE9dSqlc2eXQ582bRrLO3Qe3of3HDrrvn969uwJex45MvTwYXtGhtWrDp2tmoKNMz3+7//+b9++fZs2bYKIOYC7NmEzkDOne/YirN4lEAj0ev1tKx8wDGOxWGDx8cjIyF9//ZV9CDTdWw7d6XSuXLkSdtqnjy4315aVRRUX29u2VfMOnUd9wnuCjk36rl27YM+tW6syMqxZWdSJE456cOi4CeXl5R7eiLsoSvOQcgAI1q+//mo0GhFCUJiMm33PrXzAMAyUshGLxRs3bsS5Sc0YdS/omOUnT56EncbFKXbvtubl2QoK6NatVbyg86hPeNWhw04uXrwI9ceVSsHmzfF5ebYTJ7zr0D2OgXU3E9bqasaJehBv2bRpE1hvHx8fbrAFO3QQdLvdHhgYCKOjQ4cOZd151Q3dCC+i7gWd5QzX4EWNN22K37+fLixkHnmEd+g86hVeFXTYc1lZWZcuXWDnqanR+/fT9ePQH0KAoG/YsAHSeHx9fXG8BQs6ABx6aGgojBj379+fZausM9ws4RVBh1vl5s2bL730EkIIIWLp0ugDB2y8oPOof9SDQ2dZdsGCBbDzN96IyM21cWPoMCLHU71OAAH0Y8eOQW0ypVIJas6tfIAdusPhgGR8kiQXLlzobEaVD+4Eb4VcYL9ulpPTpkXxDp1Hg8DbDh3iGxs2bADvMnx4aE5OlYlFAwYMYHmq1xHw6sHx8fEIIYFA0KJFC+6gKC5MZrPZkpKSoPJBWFjY2bNnWX5Q9A64d8gFUnTdlS4E48aF5+fzgs6jAeBth44n4oN36dBBs28f9d13yb17u1YsevXVV1me6nUEPLAJJV0RQhKJJDY2FiLpHrEXrVYLaYsURUF6TLNPRfdWyAVO+ubNm0HQu3fX8oLOo0HgVUFn3UGA/Px8EHS73XfvXut336VgQR81ahTLU73uADkXf/75J3eB7JiYGIqiaJoGZU9MTAwMdPWQCILYvn270z3nsaEP37vwiqCz7gTzrVu3IoQQErZvr8nL4wWdRwOgfhz6yZMnoUpXmzbqvXutp04l9+nDO/S6B1w1uKDr1q1TKBTIPfVfo9FERkbq9frAwECRSEQQBAyHTpo0ia2753cjh3cd+ueffw4O/fHH/XiHzqNB4G2HDjv/6aefoqPNCCGK8t23jyopsT/zTADv0L0ErqZD/iLkJmLgEl2g5twlLxr62L0Lbzl0oC926Lyg82goeFvQ4Rb64YcfDIYWCCG5XJiRYT10iOnc2Y8XdG8Ap9hDsOvAgQN9+/ZF1dCxY0ccaWkedWzuB7yg82jmqDeHbjKZEEIikWD37qTDh+1du/rzgu4lYE0H/SorKzt79uyOHTtGjRrVu3fvtWvXnjp16tq1a+zDt8ooL+g8mjnqx6GfOXMmLCwMQi6ZmdShQ7ygexcePv22wKOgD0OwBVBPMfTHHuMHRXk0DOonyyUrKwuo3rKlKivLxgt6PQBfQWfVau/V/9vAB1qP8G6Wy7Zt28ChP/ccn7bIo2FQP1kuubm5MBqXkqLKzKSKi3lBrydwPTgX7EMm5QBvOXSwLe6Ci4KxY8P5maI8GgT1E3JxC7ogOdmXF3QeDQVvzRSF/S5ZsgRsy+uvR/CCzqNB4G2HDt4lOzsbqN6li19ODh9y4dEw8KJDd3Km/o8ZE8aHXHg0CLwq6Ni7uMf/iWHDQvPz6YMHeUHn0QDwlqDDfhcuXAi25d13DbxD59Eg8LZDh51v2rQJBP2VV0Ly8my8oPNoEHixfK7T6Rw7diywfMUKy4EDVQQdlqDjWc7D26ifQVF32SJyyJCQvDw+5MKjYeAtQWdZtrKycvjw4cByqPrPO3Qe9Y/6EXTs0CdPjty/nw+58GgYeNehjxw5EgR92TJPhz5v3jyWZzkP78Pbgg47wYvQz59vKiigi4p4QefRAPCiQ+cKemqq5cABGq8pShDo/fffZ3mW8/A+vC3o8GLy5Mlup2I8cIDhHTqPBkE9CfqyZZb9+6ssQbdgwQKWZzkP76N+HPrUqVM5gs6HXHg0DOpP0A8coPPz6ZQU3qHzqFfUj0PHgj5/vqmggHfoPBoG9RdyOXiQ2b49MTpaDr/ECzqP+gEv6DweHtSToC9dajl0yP7FFwlms6wOBZ1btAEWMsWLwDanMg64RTBjCy+NWFeT1xsDuJcSVgGuq0vZ4ILOr1jEwwPeU60m6dCdVYFn6+FP4QRxUYtfaXBwddyjjWzVRViadBu58FiUHVr9gG1sOEF3LXAxduxY1l2ujsfDjP9v78zDmrrSP35CAgESlgBhC8gaQliy3qBWp1XHzmhtXUar3exmsVqXtk4dW61VO7XKY+sy6lRrHZ2p1Z/FWsZ1bBVBrQvWBYrFXRQXVMQNJAS85/fHS47XgAskuSRwPn/wQBJu7rn33O/93ve85z02qsVdsRr+tP9ydm4e+jvvvIMQQkiwcKGqoMDkEEHnWjnuXhYVFS1dujQvL497mMgH3E7vuPdw8uKNGzf+85//rFixory8nLxIVmNxxzY23vO7d+/u3bt3+fLlu3fvtvkwblEbW0XQ9+5levducOgTJ07E1KG3e5rswIcOHcrOzj506NAjP/mYONehjxkzBhz6f/6T4hBB5wo07PqxY8fefPPN+Pj44OBgkUjk7+8fExPTq1ev/Px8zKmM3KxvaXXIASQLssydO7dz584KhcLT01MsFkdERKSnpy9cuPDmzZv4/kL+rbvnjw/RU2jj3bt3CwsL+/XrFxMTExQU5OnpGRgYmJCQ8PLLL584cQL+hQSamvtFrSHopt69G9YU/fjjj7G1bDqlfWLjz06ePDlq1KikpKSgoCAfH5+goKC4uLhXX311//798Hm4KFrQP50o6BaL5bXXXgOHnp2d7kCHfvfuXfjHrKyswMCGPMjGfPDBBxCXcFNNh3Pz+++/G43GB7UxPDw8NzcXW0+k2wG7XVVV9fzzz/v4+DTZRolEMn78eDjjLdB0HgSdZVmSh56VBWmLzDPPNAj6pEmTMHXo7RgSsSAVruLi4prs6mKxeMSIETU1NbilPt2Jgl5RUaHRaGC733+f5iiHTo7Ll19+SQ6EQCCQSqUymczf318kEpHXR44cWV9fT8LNzfqu1oKE2DDGR48eValUyLqKube3d2BgYGBgoLe3N2mjVCr9+eefMcYk3NzaLXg0JGJusViuXLny/PPPk+YIhUI/P7+goCCpVCoQCLi359u3b7fgWYQfhz516lTY+Lx5SXv3Mrm5+q5dA+AV6tDbM6S71tXVWSyWOXPmCIVCrlmRyWRSqRQucCAzM/PGjRvc3IfH/zpn1UPHGFdWVhJrmZ2d7pBBUTKSsGXLFoFAABe8TCZLSEhIT083Go06nU6lUsnlcpAGhNDf/vY38kVuIXbYGha/ffs2qDk0JCoqKiUlxWAwGAyGlJSU2NhYLy8vOJiRkZGnT5+GEfPW3vfHhehsVlYWQghuw0FBQUlJSVqtlmEYjUaTmJjo5+dH3l2+fDnG2GKxuJpDt1gsL7zwAmz8X/9KPnDAtH69RquVUkGnYM7T9pYtWzw9PUG7IaIIqqXRaJRKZUBAAOnqpDKKCzn0a9euGQwGhzt0lmWvX79OnlmCgoL0ej3DMHq9XqfT6XQ6hmEYhomIiAAp9Pb23rVrlxuJHRGazz//nHjz+Pj4jIwMg8Gg1+v1er3BYDCZTMnJydA/PDw8xo4di93HpJMufujQIZlM5unpiRAKCQnhnkr4XafT+fv7w807Pj7+xIkT5H8f/7ucLeh37tx54oknYONLl6p//ZXZuFFrMPhRQadgqz87f/58REQE9GSZTKbX600mk94KdHsIIMNYYH5+PsSWXc6hC4UChzh07o0OvLm/v79OpzMYDFqtlhwa0AKTySSTyTw8PAQCwdtvv40xNpvNrq902Hr06urqVCoVqHlsbKzJZILbFbeZDMMkJSXBLZ1hGEh9cYtgOnnSgiVQBAJBYGAg3Khs2giv+Pj4QDPXrVuHOYPAjwMPgl5TU9OtWzerQ28QdL2eCjrlXvfbtGkTsgaHtVptk6ql1+sDAgKgq0MvbVZXx04SdNgo3JEQQkql78aN2j17jPY7dPi8tSovCg8Pz8jIgOMC7hUiEjqdzmg0JiYmgvXr3bu3xWKxSfx0WeB+XlZWBufV19dXo9FAo7gOHX4xGo1eXl4CgUAsFm/fvh236DGNf0h+y8CBA+HenJiYCBEz0sWhjdBqhUIBH5s1axbm3A8e87t4EPQePXrAxr/5JvnAARN16BSAjN6NGTMG+nBUVBQ8epIr2ka1wMa99dZb0GeapVqOF3TugB5CCCFBaqpk82bd7t0OcOhwv4KxVpFIFB8fbzQauWqu56DVaiHKHBMT89tvv2E3uajglPzjH/+A0y+Xy6GNROZIY6FDhISEgPQvWbIEDpHr37dATG/evAkhcqFQqFaryakkbSQ3raSkJOg2zz33nNlsxi42KFpVVQUPozKZaOXK1IICGnKhNEAGRcHdCgQCpVIJARYbcwa/p6WlgaDHxcWdP3++uQFGJ4Zcjh8/DhtNSfHdtEm7Z4+9gg5xcJZlITTv6ekJtq6x2JE/xWIxQig0NLSgoAC7yUUFp2TWrFlwoMLCwuB+zm0j16qHh4eDoM+ZMwdbZ5C2diMeAYhpZWUltFEkEqWmpnLdCmkj3LSSk5PhkwaDAVLvXUrQr169KhZ7wcNoTo5mzx6jwwWd7C1JgiITC3FzjgaFZ8j5gmiBQCBITk62saHcyzk9PR2cXEhIyJkzZ3Azg6hOdOhE0NPSwKHbG3JhWRZ27qWXXoKNREREmEwmbsiFa12Tk5PBoT/11FM3b95s7r2utYAL9ddff4XkFj8/P41G06SawzOat7c3DBX897//JQ8xrd2IR0AiFXq9Hk6lUqnkhlxsbswxMTFwMUyYMAGOj0uFXC5fvgxbjovzXrs2fe9eRzp0rmpDJR/yFgyakUkorn/e2yHk3D333HPWThJHunrjB26VSgWC3qtXr1u3bmHXCbkcPHgQNjp4cGhenv6XXxwQQ4csjpUrV8JTiUwmg3udzdHR6XQmkyk8PBw08a233sLuMygKO2k2myUSCRwrlUrFNenc06/RaMCeJycnl5aWYvcZFIVmzpw5E9oYGRlJ2mgTQDMajYGBgXDGs7OzsesNihJB79DB+4cf0vfuZTZscIygkz2E6RTkxfLy8uvXr5OPkYETt+jh7QryLGVdpBAFBwfD9WtjXyDNISwsDK7oGTNm4OY/cDte0MmAVW5uLmx0yJCw/HzDrl0G+x06bPnChQshISFwH4uIiOBqOoTOGYZJTEyE4yKRSP7v//6vud/VipBH6bfffhvaGBAQYJPMQxobHBwM9nz48OFuNC2WPC3t2rXLx8fHw8NDJBIlJiYyDKPVaqF1JAk1Li4OUjNDQkKKiopwM8WRn5ALbFmvl27YoN292zEhF6LR5JLOzc1dsGDBiBEj9Hp9z549p0yZsnTp0tOnT2Or18FU010McvqOHTsmkUjAYjbOWyOq5eHhAcnW69evx83PcXCKQ4eN5uXlWR16WH6+Yxw6uQhff/11eAaHowO55waDwWg0mkwmUHN4V6PRWCwW8HRu0ddJDzhy5AiMASCE/P39tVqtyWQyGo3QRlBzeFcsFm/duhU3P8mpFYF7j9ls/stf/oIQEgqFQqEwMTExIyPDaDSSUxkbGysQCOAyGDVqFFTWbdZNiwdBP3bsGGy5X7+Q7dsNu3YZNm1ymEOHfzx37twrr7zSZHWEtLS0xYsXc1vqLn2gncBaq5VAsUKRSOTh4QEzS0hXz8jISEpKgqsAIdS9e/dbt261IMHBiYKen59vFXSHhVxYa7GtCxcuQOavQCDw9PSUSCRQ4CYyMlIikZDZ/3K5/MCBA9hNAhEEKG9QV1e3fPlyaItAIPDx8fH394+Ojo6JiZHJZL6+vmS68MyZM81ms03tWVcGxBROyunTp9PT0xFC4NOlUmlYWFh8fLxcLpdKpUKhEG7MPXv2vHz5MkQemtVMHgSdRBd79w7atk3/yy8OcOhkMA1jfPHixY4dO8LWPD094ZjA4YKhNsR5QncX49JOIOeRZdnKykpIbxUKhdDVQ0ND4+PjIyMj/fz8PD09oatHR0eTrLzmnk0nxtDXrVsHG33vvajdu407d94n6C1eU5Rsv6ysjCT/wjHy9PQk/RshFBERAWrOzQdwfVhrKR+QgKlTp3Irt0AbiZQLBILPP/+c+4/u0kzMsZ+5ubmQ1AWIRCIvLy9uTZ7u3bvfuXMHN3OAiHyLswX98OHDsOU+fYJzcw27dhkd4tCh3964caNTp07I+hATHBwcHx+flpamVqujoqIkEgnpDDBfnJp01wSktrKy8sknn7Tp6lzVUigUhYWFuKUe1CmCDv88Z84c2OiHH8bu28fs2HGfoM+ePRvbUT4XLo/KysrJkyer1WpuaRuEUHx8/JtvvllWVobd2bMQJdqwYUPnzp25kocQCg4O7ty584IFC+DDbncZc4f7MMYFBQVjxoxRKpXcNnp5eanV6o8++giG+1uWzsGnoBOHbr+gkyeY4cOHk4sfhhlIshOMHgUHB5OJ08XFxaybZHO1H2y6ekVFxejRo5OTk21UKzY2duzYsVAsmjsA3qzvcqJDnzdvHmx0woSYvXuNO3cayRJ0QqFg4cKF2L4FLohZKysrW7Fixbhx4zIzM99///1FixaVlJTAW+QzbqR0+P5MNWiCxWLZt2/fF198MXr06OHDh0+dOjUvLw+m2Lj7AhfcQb9Tp04tX778/fffHzFixIcffrh69Wq4K3M/3Nxm8iDohw4dgi0PGCDPywOHrrFT0GGM4fbt20FBQWDP4+LibJKdSGZXYGAgaPoLL7yA3Sehq/3QWLXOnj373Xffvfvuu5mZme+9995XX3115MgReOsuZ+mi5n6REx06EXRw6FxB9/BA//znP7EdmSdEwri3Mu4haAMLb5I950aNuc0hIQvshmpuw13OGns2p9LOsQEeBL2oqAi2/Pbbij17mB07HODQ4fPbtm3z9/cH982dacXNXmUYRqlUwmN79+7doee7/uSy9gDXhUAPh59E9xp3dTtPHH+CvmPHvbRFexw694swZwQZZlhYLJba2tq2lMLFvXXV1tbCkrLwiz13cteB+zgCZxCykmpra6ECD3m3Zc3kQdBJivE770Tt22fKzzdu2qSzU9Bra2tZlh0/fjxsJCQkJCMjw2bCMMlh1el0MNBCqlzQqEurw+3VTfY0s9kMuQyNVavFPZMnQd+zh/nlF+OKFSnR0WKEkIeHwE6HbvON+P57nbtrXGNsmtZmblc2OKP9w674AAAgAElEQVSNPAj6smXLYMsjRyr27rV16LBiUXMFHZat6dWrF8RbOnToAPEWw/2QCSm+vr4IIalUunnzZpZl3WXWRVuFq+bwyuXLlw8cOJCTk7N27dqioiIyL8yx7pMnQd+9mykoMM2dq/T19UAICQSOFHQK5SHwIOj//ve/uQ59xw7HOHSM8ZtvvgnXS1hYGKlyYTMpGqalQIq6e9Wha6vYqPmJEyc+/PBDg3VxCKBHjx4zZsy4ePEi5gyD2Q9/Dn3fPuYf/0iSSoUOd+gUykNodUH/+9//jlsaQ1+3bh3EUgIDA7k1VwlQzycpKQnKFkEM3S0KtLVtiJr/8MMPKSkp0BNgUjdZag0hxDAM3IAdlVrNn6AXFJiooFP4h2dBh5DLxo1avb5hCTqYKNCCLBeWZa9evRoaGgpziJKSkoimk+g5yLpMJgOZGDp0KLbG3+1sGqVlQL+CLrd+/XoY04aJ656ennK5PCgoSCgUwhR/hFBUVBTktzgk85gKOqWNw79Dz883bN6sY5gGhz59+nTc0olFGOOJEyeCufP09IQybaTKBRTtCwkJgQ9IpdKioiKW5qG3NnAzPnbsGDw2walJSUmBiJlOp9NqtUql0svLC1LRk5KS7ty545DcJCrolDYO/w59507j2rUatdrXHoeOrbpw5swZWEEXJvpHR0crlUq1Wp2UlBQXFwcrC0PO4vDhw7G7zYtue5Abav/+/aEDSKVSjUbDXblBr9czDKNWq2G5MYTQlClTsCMmEFBBp7RxeBb0PXuMe/cyixcnBwSI7BF07pP70aNH1Wo1sq4YjhAC68dl2LBh2KHDa5SWAUa7urpaLpfDbRhW42qyxHdsbCyUuHjqqadILrI9304FndLG4d+h79lj/OYbdVCQp50OHXPsXnFx8RtvvIGaQiaTzZgxA8qWUXve6sCJ3rBhAySSBgQEkOrnhkZrAjs8PYkKOqWNw7+g793LOETQSfYb/G9dXd327dsnT56clpbm4+Mjl8tfffXVVatWQfUP1oqdLaLYCYxIQ74pQig0NBRKnzc5I4xhGFjHRiAQLFq0iLUuytZiqKBT2jjuK+iYo+ncJ3GWZW/evFldXU1e4UZaqKa3LiDopKRaaGgomeJrMyMMIulE0L/++msq6BTKI3BrQcccTW/Sg7PWWtuOahHFTuBEr1+/HmIpgYGBD1omE9Jd4GNxcXG///47piEXCuXhuLugc3eVfQCYGnOXAe6v165dCwsLQwiJxeLU1FTuAujceEtiYiKpqgbVqOigKIXyMNqAoFPcCDKOnZqaCrGUoKAgWOucW/SYYZi0tDSy7tirr76KHTEjjAo6pY1DBZ3CM2DSDx06BGINmp6WlqbVaiHkotVq1Wq1RCKBJPS4uLhr167ZjJS0DCrolDYOFXQKn3DjYF988QWsFAqz/P38/BQKhUKhgIxGeDEwMHDdunWYTv2nUB4HHgSdbHnkSAVMLKKCbkPjMQCYgNN4MKBtQBZsycrKIkuGkppc5JfQ0NCcnBzs4sW54PqZO3cubHTChJjdu41U0CmtAg+Czl3gwrETi9oGRM0fElJw9/XFuEATQNNZls3NzR06dKifX0NtH0ChUIwdO7agoABjXFdX56hW81k+lwo6pRXgQdD3799PHfqDaKzmd+7cOXLkyKpVqzZs2HDhwgVYGhe3dBFw14T7RIIxNpvNpaWlu3btWrhw4fz583ft2nX+/Hk4IG6wwAXs6Nq1a2GjH3zQgTp0SmvBg6AXFhbClgcMCNm+XV9QQAW9ASJVcKUfOnRo9OjR/v7+JObg4eGhUqk++eST8vJybMdq9y4IaftDTr3DF8t0iqDDRvPz82GjL70Ulpdn2L+fCjqlFeBB0A8dOgRbfuaZoK1bdfv3m6igE4ggLF26FIYBm0Sr1R49ehQ7NP7Q6nB9OnfMgPs7dujdy4kOffv27bDRwYNDt2/X//qrad48KugUvuFB0A8fPgxb7tMneNs2fUGBackSKugNRxgkZsmSJYgzGOjn5xcaGhoSEgLrMYHQK5VKmC0JvrUtyXrjMWHsnOCS4wWdlGkngv7CC2F5eYZff2XmzVNKJHRNUQqv8OnQrYJOQy4NWCwWlmV37twJiXoIIV9fX5VKlZ6eDjPg09LSlEqlSCSClO3U1NQrV648fPiU8hCc6NB37NgBGx00KHT7dj0NuVBaBR4Evby8HLacni5dt05z4AB16JgEFurr6wcPHgw23MfHJz09nWEY7pxJk8mUnJwsFArBp8+ZM4flFKihNAvHCzq2ZiCdOHECNqrXSzdt0h48mPHll4ne3tShU3iFB0G/cuUKbDk+3mftWs2BAxlff93eBR1bm1xSUhITEwOC3riqCdSoMplMCQkJoAydOnUiaX+t3QL3w4kO/ejRowghhARpaZING7TFxR3Hj++AEBIIEEJU0Ck8wYOgV1RUQBHU8HCv7Oy0gwepQ2/IbGFZ9r///S9CyMPDw8fHB9ScFI8lSz0YjcaUlBRYu0cgENy6dastxdD5xCkOHTZaWloqlUoRQlFR3jk56b//3mn06CiEkEhEHTqFP3gQ9Orq6o4dO4JZWbZMXViY8fXXyTKZXUvQuTtkLG3mzJlgzyMjI7lL9nDLgoNVl8lkCCGRSLR161ZMHXqLcGLIpaKiIj09HXr56tVpR492Gjs2CiEkFFJBp/CHswWdZdmampqePXvCxpcsSS4szKAOncx9nz17Ngh6dHT0QwRdr9eDoAuFwi1btmBOTjrl8XGKoEMvv3nz5lNPPQXb/fbblKNHO4OgU4dO4RMeHDrLshMmTICNf/FFYlFRxldfJfv7t2uHTkIuUBdBKBT6+/tzQy5cTTcYDKmpqWKxGCHk5eVVUVFBQy4tw4kOnWXZd955ByGEkMc//6kqKek8dqyCCjqFZ3hw6BjjGTNmwMY/+ij2yJGO06bFIYQ8PNqvoGNrk/ft2wdlTIRCIclWtAm2wFIPcAC1Wq1D6g62T5zl0CHr6NNPPwVBnzo1joRcqKBT+MTZgg6zYL777jtIAcjMjCguzvjkk1jo6u1W0IkIVFdX9+vXD8ZF/f39NRqNjZobjUZY6gHOzpdffok5Z43SLJzl0KH7Ll68GCGEkPCttyJLSjqOHRtNBZ3CM04VdBIp/t///gfe5Y9/lBUWZkyZEgfDRe1W0DGnjEl2draXlxccfH9/f/DphJSUFJgvihCKi4srLS2leegtxlkOHcJnq1evBkHv3l32++8dqUOn8I+zHTpo1q5duzw8PBDySE+XHDxomjo1rp07dODu3buwVObkyZPh4AuFQpFIJJVKIyMjw8LCxGKxp6cnTCkKCQnJy8uDhx5qz1uGUwQdW7vvtm3bPD09ERJER4tLSjqNGUMdOoVvnCro2HoJlZSUyOVy2P6vv5qmTo2ngk5GjOGXKVOmkJrgIiukuktCQgJkK4IXxDSG3iKc5dAhsHj8+HGlUokQ8vERHj6cQUMuFP5xtkOH4MCVK1e6du0KkeL8fAMMirZzQceNiqFv2rTppZdeUigUiINOp3v99ddPnjyJnVBOtr3hLIcO5+/atWuQuejr67lrl/G992jIhcI3/Dh0i8UyZMgQhJCHhzAnR/Ppp1TQGyACTY5AYWHh999/P2/evMWLF2/evPns2bPwelsqht5aOFHQgVdeeQUhJBZ7rl2bPm4cdegUvnG2oMO46N27d//6178ihAQC4aJFqr//nYZc7sHV9CaPeX19fVtarqgVcaKgg1iPGjUKQmYLF6qglgsVdAqfOFvQifecNm0aDPtNnRo3fXoCFXQu5GhDPLaurg5EHH6hYRZH4SxBZ1nWbDazLDt+/HgYBRk/vsOHH1JBp/CNswUdYwxdfdasWdDV33gjYsYM6tCbhjtSajNqSrEfZwk6xhg2NHfuXCivOHhw6McfxyJay4XCLzw4dOjGq1ev9vHxRkjQrZssKysBuVIeuo16Ngmm2ur+ONGhQy//8ccfvb29EEJPPBEAsy2oQ6fwCQ8OHcR6x44dgYEBCKG0NOmsWYmu49BJMx9e7oqOSbYBnOjQYQCkqKgoJqYDQqhLF9lf/xrtcIfONRekYucjG+B22LSxTcYcbU6lo9rIg6BDFLisrEyr1SCE0tL8Jk6MdRGHbpNkcvfu3TNnzqxZs2bAgAEKhSIzM3Pr1q1lZWXw4ba0QHP7xLmCjjE+depUUpISIdSpU+C77zpS0LljLLW1tfB1ELsn/bIN9E7WunqLxWKBc4Mxrq2ttVgsbUPZuTpeV1dXW1sLnZL8bmc0gB9BxxhfvnyZYYwIodRUv48+cglBt1Hzo0ePDh8+HDXFhAkTuJngbt2j2jNOFHToGVeuXNFo0hFCDBOQmRmJEPLwsEvQHxLyu3jxItehc393uw7KDW5yp0FXVFTcvHmT/MnVdLdrI+b0M5vaHdXV1dzPkLda0EYeBB0em2pqanr2/CNCSKmUkq7uCg4dmn/w4MHoaHBUQhs1h+maSqXy8OHDmFMttVV2mGIPThR0EgDp2rUL2JYBA+QIIYGg5YLO3S3Y9dra2k2bNr377rt9+vTR6/U9evR4+eWXV61aVVNTgxvJhLvAvWPBKydOnJg/f/6QIUNMJlPnzp2ff/75rKysI0eOwLvkCnSvxnIDLBjjmpqaH3/8ceTIkb169XryySefffbZ0aNHw1oH+P5bV3O/xdmCTixwv359EUKxsb6DB4eihtUWW9mhQ9v37dsHag7LvAUHB3fo0CE+Pj46OjowMJCofGJiYkFBAUsrHbotThR0Egnt0uUJhFBKirR//xCHOHSS5L5z585u3brBQndcxGKxwWD4/vvv8f2O3r0gEjZ79uzw8HBS9YIQGRk5ZsyY27dvYzd0VTZqvn79+u7du5MaqgQ/P7++ffseOHAAt3ReOD8OHfbtueeeRQjFxUleeinMFRw6dKG6urqBAwcihDw8PMCJGwwGo9HIMIzRaDQYDLGxsQKBAN598cUXsTWY7kbdiQI416FDL7cRdDsdOsuysNPr168PCAggV76np6e3t7eXlxdX+ObPn4/dLSxIwiwQRM7MzCTN8fDwEIvFYrGY+9Tcs2fPyspK7FaaTnQZRgK+++47WGSZnEoowkdeCQkJ2bt3L27RsmT8OHS4bAYNGogQio2VDBokb3WHThzVTz/9BJ1HKBQqlUqGYaAQOfnJMExsbKyHh4dAIJDJZPn5+aw1S43iXjjXocO2/vjHHgihtDS/gQPldjp0EsYpKiry9/eHnfby8goODo6Li0tNTVUqleHh4Vyj9/XXX+PWzgJuLnAvrK+vHzlyJDFWgYGBERERarU6OTlZoVDIZDJ4HSH07LPP3rp1Cybdtfa+Py7kxrx161ZShM/X1zc0NDQ+Pl6tVsfFxcnlcpFIBM0MDw8vLCzEzc/E4EHQMcYQ4oNCF3K5N8P4kR7Yig4dvvSNN96APVEoFCaTCUScuwKcTqfLyMgIDAwEM/T555+z1omB/O8zxR74EHQYKUpMlPboIXOIQ7dYLF26dCFuLikpKSMjAx4eDQZDRkaGVqsFxycQCEJCQkpLS0Ef3aKDEgH64YcfiJpHRkaaTCaTyQRtZBgmIyMDnpShmXA83SXtjLXW47x48aJKpYImSKVSjUZDTqXRaOzYsWNSUhJYS4RQr169bt68CYVTHr+Z/Dh0s9mMMX755ZcRQsHBYq1W0uoOHdxPbW1thw4dEEJCoTAxMdFoNNqsAAe/G43GmJgYiLC/8cYbsMM0ku52OD3kgq2DouHh3qmpDY/VLRN0cmUWFRUJBAKBQCAWi5OSkhiG0Wq1pINqtVqDwaDRaEDTRSLRZ599hjGGS871AbW6e/du586dQc0jIiIYhtHpdKSZOp0OVmKMiYkBsevTp091dTXLyeB2ZUjfIDctiUSSnp5uNBptTiXDMKDpIpHIy8srLy8PN1Mc+XHo0LvAoYeEeOt00lYXdDjCxcXFkZGRCCGpVMo9tlyHDn+mpaVBmOvPf/5zVVUVtgbxKG6E07NcSAzdfkHHVgf65ZdfgtLJ5XLuIyT5qdPpTCZThw4dwHG88sormFM438WBnbx16xYsgi4UClNSUmC5dO7VSFrt6ekpEAgiIiIg58wtgktkpPqDDz6AUxkTEwNtJM0kWmM0GuVyOdy3li1bhjmjo4/5XTw4dG7IxXUEnWXZa9eugUP39vZWq9Xcy8RG0FUqFQh6v379ampqSEyM4kY4N+QCW//DH7oihEJDxcnJvnY6dPh8z549YSNRUVEg6DbdFH6mpKTASoZarfbcuXO4RUNq/AN3wc2bN4PSyWQyrsaRixA03WAw+Pv7w33r22+/Za2L/7V2Ix4B7OGdO3dg/ROBQKBSqchNiys00Mb4+HjoOcOGDYOT+PjmkZ8sF+ug6CDXEXTWmkxpMpkgNBcTE2MTQycdyWQyhYeHw11z3LhxGOPa2lrX70gUG5zu0Kurq00mBiHUoYNPx47+9gg6eU7X6XQkeg4xwcaPkLCaOJhcf3//HTt2uMvAPbTx008/hWMVERFBLsImn5QVCgVch3PmzIF/d/0nZRDTyspKMhCSmprKtY02bUxJSYFP6vX6GzduNEuL+UxbfPbZZ10nho6tJv2zzz6DhgcEBJBHWO5jEGi6j48PhL8gj4BMS6a4Ec6dKYoxLi0tVamSEEJqtaR/f7smFhFF7tatG9wVoqOjH+TQ9Xp9eno6OHSlUnns2DHsJuEIcOg//vgjuKrg4GCutNkYK6PRGBgYCA592bJlYMrcQtAxxrdu3QoODoZTmZyc/BCHnpCQAB100KBB0EFdyqGTh9FnnnkGISSXe5tMrZ/lQhpeVlZGDmBQUBC3C0FES6fTkRQXk8lUUVHBLRlEcSOcXpzr9OnTUMslJUUKM0XtSVuEbc6YMYPE0DMyMmxi6KB0MGAIMcGBAwdCKX3XVzpslaqKigrYeS8vL3CvNjF08gustCuVSn/55RfsJkMFJA991KhRcCpjY2MfEkMPCwuDj4F5dLUYOmhfRUVFRoYJHkZdIQ8dc9o4adIkZJ0OKpPJ1Gq1VquFYXaVShUQEABZBgihiRMnYloG1W1xoqBDn/j5559lskCEkMnkP2KEwh5BZzlVKaD/eXt7JycnN5nlotPppFIpzH/7+OOPsbtlubAsazQaQcUUCgVkuRCxI1ku8fHxYM979Ohx+/Zt1k0mbZPo2erVq+ExH3IWDQaDzak0Go3wpAXNtFkY/nHgQdChLRcuXNDptAih2Fjfl192iZmi0EaIfL7++uskwCUUCkUikUQiEYlEQqGQzOF65513SPjI9W0BpTFOX+Bi7dq1vr7eCKGOHQPGjrW32iL0M7PZrNfrYY/FYnFycnJGRgZx6ODZYa4KKEVhYaE75qGvWLGCuKro6OiMjAyY40fy0BMSEiBHWyAQTJ8+HVuVzvWbyVrz0E+dOtWhQwe4bwUEBGi1WptTmZ6e7uPjAx/o2LFjeXk5WX/y8b+Lh3roLMvu379foYhECKlUkvfea+jqrSvoAByuqqqqcePGkRm5AoEA7pEkFDNp0iTWWtoTu8mU4xZDzj7LmZUN1T3duoip0x16Tk6OROKDEMrI8B8zJsrOkAuZKVpQUODt7U00PSwsTKVSabVatVodFRUF1V1ABWbPno2tl5O7nCFopsVigTQ40HS5XB4bG6vRaNLS0mAWJSkA0KNHj+vXrzdX6VoXllPCQSwWw/O+VCqNjIxUq9V6vV6pVCoUCh8fH3gak8lk+/btw80vM8KDoEM33rZtm7+/H0QXoR66izh0zBly+OmnnyZOnPj000/DoQgMDOzfv//kyZN37NiBOUUy3OVKaRlErx/UTO5BcK9DwZ+gO9Chw06vXLkSkliIrEskEqLyAEwpcq9HSPKYXF9fX11dPWTIENIcoVDo6+vr4+PD9VadOnW6cOECtp5Lt2gmuVQsFkt9ff3ixYu5LfL29pZKpTCgDUgkEgi2tOAxix+HjjHevn07rFikVks+/DDGdRw6OdpkH65fv75v3768vLzffvsN5hBhNxl9sR9yh4Nf6uvrDx48OHPmzB49ejz99NOLFi2CBArcVNFT18fNBB3fX21x06ZNRqORW8WJkJiY+M0332B3rrYI58ZisUydOpVUO+ESGBj42muvVVRUYLdSc4D7wIsxXrlypdFobNxGoVDYrVu3/Px8zCls0Kxm8i/oKSlSF1nggsDV9MZ7Ai8+0re2AbhqzrLs5s2bg4ODueVaPTw8/Pz80tLS1q1b544+3c0EnewW8em3bt1atWpVv379YIQwNTW1Z8+eWVlZ5eXlmBOicS9IM8nOHzp0aNy4cV27dk1OTo6Pj+/atevw4cN37doF7xI1d5duB9h4pevXr8+dO/fZZ59NT09PSEjQ6/UDBgxYsmTJnTt3cEtr52Lq0Dlwb6L1Vtx9jZTHh9vf6uvrp0yZwrUOpNQdYfLkyZAa50aDCm4WQ8cPDm/V1dUdP3786tWrNp/E7tlTWQ7ce1JZWdnx48dtPobds434AdHM69evHz9+HHSc+zHcoouKB0GHbrx161Y/PylypRg6xQa4k925c2fq1KnIulSTVCqVy+XR0dEKhUIul0PYFvT9s88+M5vN7pJPgXnIcvnhhx98fMSOcuhciBbAmqJkjy0WS1t6fiS2AtoFL9bV1bXVNUW5XcIhp5Ifh86ybFFRUVxcLEJIpZK8+26UCzr09gycbtC73NxcEqcNCQmBGnAmk4lhGIZh0tLSSIRTLBZDIX53WfHD6ROLDhw4EBWlQAgZDP7DhkXY79BtsHmKbBsaZwNX8kiaMG5bbcROO5U8CDpcRZcuXTIY9AihuDjfV15xiTx0ChfoUdXV1YMHD4bUqZCQEG6pO5jeASU/pVIpmPSxY8eSAqit3YJH4/Sp/+fOnVOrkxFCycmSvn3tXbGIQmkuPAg6XPBXr17t2DEDIRQd7UMW56KC7iIQe3769GnoBkKhECo229QOAU1PTU2FmExkZOT58+exmyxQ7NziXCzL1tTUQHGumBjfJ55oWDGOCjqFN/gRdLiQnnvuOYRQSIi3wdD61RYpXEh1mnXr1kE3CAoK0nOwqQel1Wp9fX0hyL5//364H7i+SXeuoEMnhlpaAQGe4eFeVNApPMODoLMsC6M4sBazROIpl99LpaWC7gqQ002SW0gJ/sZFTIGwsDD45Pr16zF16Kx1WUIoX85d15gKOoU3eBB0bK0UNGLECISQQHBfAhwVdFeAyPH8+fPhvISHh9ssxcf9EypQwidzc3OxmxSmdqKgY6teT58+Hd0PFXQKb/Dj0GGa5eLFi2EkDYItVNBdB9a6OiMRO19f38alPUnIRaPRwKn08vI6efIk+ffWbscjcPqKRSzLrl+/njuNmwo6hU/4cehwIe3fvz8kBIZDBVTQXQ3oBuXl5bGxsSDWSqWS1GolDh2yGBMSEuAkkhVWXV/NsbMdOhzB0tLSoKAgKuiUVoEfQQf7VlVVFRsba/M8SgXdFeCmw37yyScIIaghnJSUZDKZSM6iXq83mUwqlUokEnl4eIjFYijB7y4rfjhX0MlBlMvlVNAprQI/gs5aS18xDEMdumtCYgaXLl1KT08nmh4dHZ2ammo0GiFbsUOHDlAyHiHUsWPHqqoq8o+t3YJH41xBJ1/ALRlIBZ3CJ/wIOrbOpBszZgx16K4MyUaHhWphRQGxWOzj4+Pj4yMWi0nhz+TkZCiz4fpjoQQ+HDrLskuWLOF6FiroFN7gzaHDt2zevNmmzBMVdBeBtUI0HZabbxKDwXDq1ClsR1W4VsHpDh02VFxcTB06pVXgzaHDBq9evUodustCzjh0idra2kmTJg0cOFCj0fj7+8tkMoZhBgwYMG/ePO7HsJuoOeZB0MGh37hxA0b/CQsXLiTTMSgU50Gq3yxbtsypgk6KrKrVam5Xnz59OmvNa6S4DqReEMuypaWlP//8c25u7sWLF1mWxRjX1dVx129yF8hqiE4UdIxxfX39qFGjkLUopUAggLFjCoU3YI1Wpwo6bHPatGmIMy6alZXlwG+hUB5JYWGhE0MuoOnZ2dkIITLgMHPmzEuXLpWVlV2iUJzJxYsXL1y4cOnSpXnz5kHfgwdqh2ehsdZciB07diDOggkfffTRpUuXzp8/39pHgvJALly4cP78+fPnz0NXcV+gm23ZsgX63tNPP02iIA/pus0QdGwN6xw+fFgsFkM+UOPFQSgUHoA0tVmzZpFHVLskvBHgXc6cOSORSOC7aFentAqQvfPkk09CUQoHO/S7d+/evn17wIABrd1MCgWtXLkSO2F5QtLVa2pqhg0b1tqtpFDQa6+9BlH1h3f15jl01pondOrUqaFDh/bt25dhGFJFgULhB6PRqFKpJkyYcPv2bSdN/CNRl7Kystdff3348OF/+MMfNBpNazed0r4wGAypqakvvfRSaWkpfozoYvMEHYBbhNlsvnXr1uXLl8spFH65fPnyhQsXWOevTQhbrq2traurq6iouHTpUms3ndK+gK5eU1PzmF29JYJOoVAoFBeECjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCroDqTqz+/us99/7aNq0jyZlrS+pwhibC/+9cn8LN1dZ+L/s7OzsZT8XO3InKRSgoX9x2LC75Oz5SrNTvu30L9nZ2dnZP+w555TNUwAq6I7BXLZpXHrcn7K2nqmCF6rObJ09YemaLEY8NOdh/3hqUXexpM/ypnq5ufL8wa/7ytDDN0ChtAxz5fmzJVvHaxGKfv9/Z8+ePXv27MFty6b0USr7Z+0sd/S3VV0p2Tpei7RZ1J44EyrojqA8Z6hcPjTH9iIozxkqR4/Q48qNo1M7TdvzIFdUnKWlgk5xIjlDkY3Kmn8aKUPyMdsc79RzhlJBd31kbKEAAAUwSURBVDJU0O2neLbJWzxg5bUm3rq2csAjHPoj6htTQac4l8aCDq+hIWscruhU0J0OFXS72TZGhsRDc5ru/ZXf9rVLj6mgU5zLgwRdPGyjM76LCrpzoYJuL3smRiPEzD76gLfLS0ogEpM//SkmNUb+RNbOPdn/Wj6pb/qInPJ7L97r5eayvKwXh7w3f9nqJbOnr1w9lQo6xZk0FvTyNUNk8j8tKrxnUczHc6ZN/GJFdvayzwb9ecSa49Z38qc/oVXGyJ/IOlC4YcG//v3jwtFduoz7iRt5rCpZPXrAkGmLf/z3wk8W/vT1kPu+qnzngvdHTlucnZ29+G9D319dAsNPp1YMY1JjFAHD1pRtW7Ho+zUrZr7Yvf+iQrP5+MZ5s5esXtbwp/OOiFtDBd1ecoaiR8XJuZ9N7T49pxyfWz4opuf8YowxNq/h9vLi+U8ohqwhl0T5t33FVNApTiRnKELRL/6jIc9lWVZm377j/lVQxhXMc4u6y/+0FLqoeef4aG583bxmCIpWv7eqocvumRh972m1cuMIBTOdaK95z8SEe13dvG2cgrmn7uY9E9VMlvWzhdNTUcKfFzcMLZnXDEHaP42zqnjlt30f4qDaOVTQ7aU58cacoQj1/bay0YvWXl65aoA4euIezps05EJxLlyHbq48uXXiE3F9bJJcKjeOTm2wH7hR3CRnKJKN2Wb9qzjrXiLLr1MSbHo7519PLeiCui/iJncVTk8V/2npObIZzrs2f+YMfWwL1e6ggm4vR2czjYOQF/MWTZs24ZUuypiYmNQ+oxflXcQY23b+Bji9vLHgU0GnOJdGIZdTC7og2dAcG9thrvxt27LZUz/54qv3OtkKOudPjqAXZ2nR/e6E89lzi7o3EmWOTtt0e5s/qaA/GCrodnNqQZcmfDfGmGUPT09F0RN3kyyWJgeFbAT9frNPBZ3iXBrH0HOGovt9R/nOKV0CTRO3nqnCbFMO/cGCnjq90Oa7Gt48Opuhgu4MqKDbj3n3xASUMLGJXPLiLC2y6YkPFfTG1wAVdIpzaVrQub4if1wo6jL/JHvvbW1WMT63YcN+zp8NcATdnDNUbGNPOJ/dNkZm44IKp6fedyFQQW8JVNAdgblw0Z/k8qFryu7X9FMLuqBmCTqu3DhMrr03jEQHRSnOprGgF2dpyUtHlyzZdt9zo3nPFLVYm1WMi7Oychr+v2lBx7h4NiPnjPDfPyha/m1fcZcFp7hvyodtrLy3GSroLYEKuoMwl+Vl9YmL6zPl+90lZ8+eLdn9/cz3Z2w6c2D2U6Mhn3f/kswXO8kRknd6MTNzSUN9l/1LMnurxEis6m19yXx8zYge/bO2lpw9uPmLz7/6dryW+y6F4jDObZiWmdlbJUZIrOqdmTltg3XUsTxnmEKsnXqgqurAgtkbK82Fi/orjcNWHzxbsvtfM5cfOJDFKAZM+HjWlsqG7ovknV6ctuHcuQ3TSG9u2Fj5zqz+PUasPni2ZPeqzz9fM2+I9bMYY2wuXDSoy6Ap6w+ePbh+Sv8e1nTIcxumvdhJjqzdnnvdNP6TYgMVdIdirjx/cFt2dvaG3SftqnFUdeXs2StVsMErVY7aOwrlMTFXnty9IXvbb/d6MemSLdjW+YaSX1VXGpf+qrpytqUbpjSGCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShuBCjqFQqG0EaigUygUShvh/wGTrpPRNZ+fMwAAAABJRU5ErkJgggA=\">"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Satunnaishaku on osoittautunut tehokkaammaksi, kuin jäykemmän taulukkohaun \"harava\" voi olla liian karkea parhaimman suorituskyvyn löytämiseksi."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "#### Model-Based Hyperparameter Optimization"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Hyperparametrien säätö voidaan hyvin nähdä omana optimointiongelmanaan. Suorituskyvyn mittarina toimii tällöin mallin oma yleistysvirhe. Joissain tapauksissa hyperparametreille voidaan laskea oma gradienttinsa, jolloin hyperparametrit on optimoitavissa laskennallisesti. Käytännössä näin ei kuitenkaan useimmiten ole."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Tällöin voidaan rakentaa Bayesilainen virheseen perustusva regressiomalli, jonka avulla hyperparametreja optimoidaan. Kulloinkin saatavien hyperparametrien arvojen ohella malli tuottaa epävarmuusarvon, jonka mukaan voidaan sitten hyperparametria joko päivittää tai olla päivittämättä. Tämä menettely ottaa pois satunnaisetsintään verraten eksploratiivisuudesta, sillä se painottaa löydettyjä hyvin suorituneita arvoja."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Tämä menettelytapa on kuitenkin vielä tutkimuksen kohteena ja epävarma. Siksi sitä ei suositella ainakana lähtökohtaisesti käytettäväksi. Menetelmä tarvitsee vähintäänkin kertaalleen koulutetun mallin, jotta tällä mallilla voidaan sitten suorittaa vertailuja. Malli on myös koulutettava uudelleen, joskin tähänkin on esitetty tehostavana menetelmänä koulutuksien katkaisu- ja palautusmahdollisuuden lisäämistä."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 11.5 Debugging Strategies"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Koneoppimismallin heikon suorituskyvyn syytä on usein vaikea saada selville. Ensinnäkin mallien käyttäytyminen koulutuksen aikana on yleensä melko epäselvää, sillä niiden eri asioiden välisten yhteyksien muodostamisen tavoitteena on auttaa käyttäjiään saamaan jotain ennalta tuntematonta tietoa. Samoin jonkun tuloksen kelvollisuuden määrittäminen voi olla alussa hankalaa. Koska kompleksit mallit ovat myös komponenttikohtaisesti adaptiivisia, voivat ne jonkun osan toimiessa heikosti saavuttaa silti jokseenkin kelvollisen suorituskyvyn."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Useimmat syiden selvittämisen ja korjaamisen eli debuggauksen keinot keskittyvät näiden ongelmien ratkontaan joko käyttämällä ennalta tunnettuja testitapauksia tai eristämällä verkon osia suorituskykymittausta varten. Tärkeimmät debuggauskeinot kirjan mukaan ovat:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- **Mallin toiminnan tarkastelu.** Aika ajoin on hyvä esimerkiksi visualisoida luokiteltuja kuvia ennustetun luokkansa kanssa, piirtää generoituja kuvia oikeiden vastineidensa päälle tai kuunnella tuotettuja ääniä niiden sisällön varmentamiseksi. Pelkät suorituskykyä mittaavat luvut eivät aina kerro koko totuutta."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- **Virheiden tarkastelu.** Mikäli malli kykenee tuottamaan tietoa myös ulostulonsa varmuudesta, on epävarmimpien tulosten visualisointi hyvä keino päästä käsiksi esimerkiksi datan käsittelyyn liittyviin ongelmiin. Google StreetViewin tapauksessa kuvan rajattiin liian tiukasti, minkä vuoksi malli tuotti tuloksia suuremmalla epävarmuudella."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- **Tutki koulutus- ja testivirhettä.** Hyvin kouluttuva mutta huonon testivirheen antava malli voi olla esimerkiksi väärin implementoitu mallin lataamisen tai testisetin muodostamisen osalta."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- **Sovita pienellä datasetillä.** Yleensä syvät menetelmät kykenevät sovittumaan yksinkertaisiin tapauksiin jo pienillä dataseteillä. Mikäli näin ei tapahdu, voi ongelma olla implementaatiossa."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- **Vahdi aktivointifunktioita ja gradientteja.** Esimerkiksi yhden koulutusjakson (*epoch*) aikana kerätyillä aktivontiufnktioiden arvoilla voidaan päästä ymmärrykseen mahdollisista saturaatioista. Samoin gradienttien ja parametrien suhde tulisi olla prosentin luokkaa, jolloinka malli etenee parametriavaruudessa sopivaa vauhtia. Piirtämällä histogrammeja voidaan päästä käsiksi myös siihen, että mitkä osat verkosta ovat eniten ja vähiten aktiivisia."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Joskus myös oppimisalgoritmit tarjoavat myös tietynlaisia takeita koulutuksen osalta. Tätä käsitellään kirjan kolmannessa osiossa."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "### 11.6 Example: Multi-Digit Number Recognition"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Viimeiseksi luvussa esitellään luvattua Google StreetView -palvelun numerontunnistusmallin kehitystyötä. Kehitystyö aloitettiin datan keruulla. Googlen kuvausautot keräsivät raakadataa ja ihmiset tuottivat luokittelulle tärkeitä oikeita tietoja eli kohdearvoja. Ennen itse talojen numeroja kuvasta tekstiksi muuntavan mallin kehitystä kehitettiin sekä taloja että niiden seinissä olevia numeroita paikallistavia malleja.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Numeroiden tunnistusmallin kehitys aloitettiin suorituskykymittareiden valinnalla ja mittareille soveltuvan asteikon määrittämisellä. Karttojen tarkkuus on niiden laadun tae, minkä vuoksi myös mallin tarkkuusvaatimus asetettiin korkeaksi 98% eli ihmisen tunnistustarkkuuden tasalle. Tasapainottamaan sallittiin, että varmojen havaintojen suhde kaikkiin havaintohin eli peittävyyden ei tarvitse olla täydellinen. Optimoinnin tuloksena se saatiin 95% tasalle."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Mittareiden jälkeen siirryttiin raakamallin kehityksen pariin. Kuvantunnistuksen vuoksi päädyttiin suoraan konvoluutioverkkoon ReLU- ja numeroiden sekvenssien ennustamiseen soveltuvilla ulostulon *softmax*-yksiköillä. Tämän jälkeen mallia alettiin iteratiivisesti päivittämään. Ensimmäisinä kehitysaskelina malliin lisättiin varmuutta ennustava ulostulo, millä epävarmoja tuloksia voitiin alkaa hylätä."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Tämän jälkeen alettiin selvittää suorituskykyongelmia. Koska koulutus- ja testivirhe olivat lähes identtiset, alettiin selvittää mahdollisen alisovittuvuuden syitä. Koska datasetti oli riittävän suuri, päädyttiin alkaa visualisoimaan virheitä. Näin päästiin käsiksi liian tiukkaan kuvien rajaukseen, minkä vuoksi malli päätyi hylkäämään liiaksi havaintoja. Suuren virittämisen ja säätämisen sijasta päätettiin vain kasvattaa rajausalueen kokoa, minkä seurauksena mallin peittävyys parani huomattavasti."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "subslide"
    }
   },
   "source": [
    "Vasta aivan viimeiseksi säädettiin hyperparametreja, joilla saavutettiin muutaman prosenttiyksikön parannus. Käytännössä tämä tarkoitti mallin kapasiteetin lisäämistä kokoa kasvattamalla alisovittuvuuteen vedoten."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "hide_input": false,
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.5"
  },
  "toc": {
   "nav_menu": {},
   "number_sections": false,
   "sideBar": true,
   "skip_h1_title": true,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": true,
   "toc_position": {
    "height": "calc(100% - 180px)",
    "left": "10px",
    "top": "150px",
    "width": "318px"
   },
   "toc_section_display": true,
   "toc_window_display": true
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}