Matematicas-Estadistica/Cuadernos/ti_Teoria_Informacion.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    },
    "tags": []
   },
   "source": [
    "<figure>\n",
    "<img src=\"../Imagenes/logo-final-ap.png\"  width=\"80\" height=\"80\" align=\"left\"/> \n",
    "</figure>\n",
    "\n",
    "# <span style=\"color:blue\"><left>Aprendizaje Profundo</left></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# <span style=\"color:red\"><center>Conceptos de Teoría de la Información</center></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "![](../Imagenes/entropia.jpg)\n",
    "\n",
    "Fuente: [pixabay](https://pixabay.com/es/illustrations/orden-caos-wuerfelmeer-geometr%c3%ada-3431153/)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": []
   },
   "source": [
    "### Autores"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- Alvaro  Montenegro, PhD, ammontenegrod@unal.edu.co\n",
    "- Daniel  Montenegro, Msc, dextronomo@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    },
    "tags": []
   },
   "source": [
    "##   <span style=\"color:blue\">Asesora Medios y Marketing digital</span>\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "skip"
    },
    "tags": []
   },
   "source": [
    "- Maria del Pilar Montenegro, pmontenegro88@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    },
    "tags": []
   },
   "source": [
    "## <span style=\"color:blue\">Referencias</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. [Alvaro Montenegro y Daniel Montenegro, Inteligencia Artificial y Aprendizaje Profundo, 2021](https://github.com/AprendizajeProfundo/Diplomado)\n",
    "1. [Alvaro Montenegro, Daniel Montenegro y Oleg Jarma, Inteligencia Artificial y Aprendizaje Profundo Avanzado, 2022](https://github.com/AprendizajeProfundo/Diplomado-Avanzado)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    },
    "tags": []
   },
   "source": [
    "## <span style=\"color:blue\">Contenido</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* [Contenido o cantidad de Información](#Contenido-o-cantidad-de-Información)\n",
    "* [Entropía](#Entropía)\n",
    "* [Ejemplo Distribución de Bernoulli](#Ejemplo-Distribución-de-Bernoulli)\n",
    "* [Entropía Conjunta](#Entropía-Conjunta)\n",
    "* [Entropía Condicional](#Entropía-Condicional)\n",
    "* [Información mutua](#Información-mutua)\n",
    "* [La divergencia Kullback-Leibler](#La-divergencia-Kullback-Leibler)\n",
    "* [Entropía cruzada](#Entropía-cruzada)\n",
    "* [Entropía cruzada como función de pérdida](#Entropía-cruzada-como-función-de-pérdida)\n",
    "* [Entropía cruzada y máxima verosimilitud](#Entropía-cruzada-y-máxima-verosimilitud)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Contenido o cantidad de Información</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La idea básica de la teoría de la información es que el **valor de la noticia** de un mensaje comunicado depende del grado en que el *contenido del mensaje sea sorprendente*. \n",
    "\n",
    "\n",
    "Si un evento es muy probable, no es sorprendente (y generalmente poco interesante) cuando ese evento ocurre como se esperaba. Sin embargo, si es improbable que ocurra un evento, es mucho más informativo saber que el evento ocurrió o sucederá.\n",
    "\n",
    "En teoría de la información, **el contenido de información, auto-información o la sorpresa** de una variable o una señal aleatoria *es la cantidad de información obtenida cuando se muestrea la correspondiente distribución*. \n",
    "\n",
    "Formalmente, el contenido de información es una variable aleatoria definida para cualquier evento en la teoría de probabilidad, independientemente de si una variable aleatoria se está midiendo o no.\n",
    "\n",
    "El contenido de la información se expresa en una unidad de información, como se explica a continuación. El valor esperado de la auto-información es la **entropía** teórica de la información, la cantidad promedio de información que un observador esperaría obtener sobre un sistema al muestrear la variable aleatoria."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ejemplo para dummies</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Supongamos que se tiene una moneda sesgada, de tal manera que la probabilidad que caiga es 0.9. En símbolos de la probabilidad escribimos $P(x_c) = 0.9$. Se lanzamos la moneda y el resultado es cara $x=x_c$, es menos sorprendente en relación con que salga sello (cruz) $x=x_s$. Los resultados más improbables son más sorprendentes y decimos que entregan más información sobre el experimento realizado."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Enfoque matemático</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Supongamos que $ X $ es una variable aleatoria discreta con valores $ \\Omega = \\{x_1, x_2, \\cdots \\} $ y probabilidades $ \\mathcal {P} = \\{p_i = P (X = x_i), \\quad i = 1, 2, \\cdots \\} $. Si $ x \\in \\Omega $, el contenido de información (o información de Shanon) del conjunto (evento) $ \\{x\\} $ viene dado por:\n",
    "\n",
    "\n",
    "$$\n",
    "I(\\{x\\})=-\\log_k{P(X=x)} = \\log_k \\left[ \\frac{1}{P(X=x)}\\right]\n",
    "$$\n",
    "\n",
    "Donde $k$ es una base que depende principalmente de la cardinalidad de $ \\Omega $. Si $k=2$, la unidad de medida utilizada fue denominada bit. Si se utilizan logaritmos Neperianos, la unidad se denominan nat. \n",
    "\n",
    "\n",
    "En el ejemplo para dummies, si se tiene una moneda justa, entonces $I\\{x_c\\}= -\\log_2 0.5 = 1$ bit. Por otro lado, si la moneda es segada como en el ejemplo, entonces $P\\{ x_c\\} = -\\log_2 0.9 =  0.15$ bits, mientras que $P\\{ x_s\\} = -\\log_2 0.1 = 3.32$ bits"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ejemplo Distribución de Bernoulli</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Supongamos que $ X \\sim Bernoulli(p)$, por lo tanto: $ x \\in \\{0,1 \\} $. Podemos observar el comportamiento de la sorpresa al variar el parámetro de distribución de la siguiente manera:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAmsAAAH5CAYAAADeCnkxAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAAgAElEQVR4nOzdeXxcdb3/8dcnk0km6b7vSbrRlrZQaKFQCmWnyiqIgoALKhcvcNEretWfiuKuiHqviKIgKKvsFBAoS8vaQlug+76vSZvu2WaS7++PMykhJM1MMpMzc/J+Ph55TDKZOfOZM3Mm73y3Y845RERERCQz5fhdgIiIiIg0T2FNREREJIMprImIiIhkMIU1ERERkQymsCYiIiKSwRTWRERERDKYwpqIiIhIBlNYExEREclgCmsBYWZhM/uOmY3xuxaRTKfjRSTzmVlvM7vZzPr6XYvfOkxYM7McM/uLme0yM2dmp/pdU7LM7B4ze6aZX/8amAAsT8PjPmNm96R6u008ziwz+2O6HyfbtPC6t2W7H3ld0/U4TW27PV5rv46X+GO3yzGTDZp47Q/7c4Lb7JD7tz2edzo/B5Ksw4B7gZBzrtTvevyW63cBrRF/s/Z2zp2XxN0+CXwJOBVYC5SnvrK0uxGwxlea2cXAscDZLkPPH2ZmfYAf470OA4A9wGLgl865mX7WJoc0+f5qipnNAhY7565P9bZTKGuPFzj0OfeFBlftAuYANznn0hIyfeLHe0My301AmXPuh+3xYK34TGtXWRnWWmkEsM0591ZrN2Bmec65mhTWlBTn3N5mrn8ceLydy0nWY0Ah8GVgNdAXmAb08rMo+VBz76+2qD9m0rHtlmT58VLvJeCq+PcDgd8ATwCt7r71+3OsMT/eG5ks016f9tL4eTvnfuNnPc3x6/UJRDdovEvlT2b2czPbaWalZnarmeXEf38P8DugKN4Fut7M8s3s92a2w8yqzGyOmU1tYrt3xLdVBrzZ6Prfmlm5mZWZ2Y3xbd5uZnvMbKOZXdVgW9PN7HUz2x2/zwuNx8uY55tmtsrMqs1ss5n9osHvG3cfHPY5tLRfmtmXhfHHORDf7veauI2Z2bfNbI2ZVZrZIjO78jDb7A6cDHzHOfeyc26Dc+5d59ytzrmHGt0853D1JrgfW3zeadp3Le6X1my3icdpcR80cZ9EXtfG769T4vvlgJntNbO5ZjbOvONpGnCdeceTM7OSBs+vqWOmqa6VXDP7Q/x57Daz39iHx+zHukmbqM/34yWJfZvUMdNAtXNue/xrAd7n2GgzK0h0u4d5TVJ1nBz2dWpJS7dP1/5N5Dg63Hssifdoa1+fRJ53i3/HWvO8W7j/LDP7szVz7Caxb5t73oe9r7Xi729Lr4W17jOtNfu+d3zb3zCzd+P3W2lmZ7e03wMR1uKuAGLAFOB64OvAZ+O/uxG4BdiM1wV3HN6Ylc8CVwPHAIuA581sQKPtXonXRH8y8PlGj7cfmAz8Evg98CSwEpiE19f+NzMbGL99p/htjsfrit0LzDCzvAbb/DnwA+AXwFjgUmDTYZ5zIs/hcPulKbcCZwGXAGfEt3tKo9v8FK+F7DrgyHi9fzGzc5vZ5oH41wVmFjnMYydSbyL7MZHtpGPfJbpfkt1uY4nug4YSeV0PMbNc4CngDeBovPf5H4BavOPpbeDveMfTAD76Pm3umGnsCrzPoBOB/wCuwdsXicqE4wXSc8x8jJl1ideyyDlXmeR2D/c51tbjJN3StX/T8ZncWFten0Sed2ten9Z8fjTW0rGb6GM09bwb3nca3pClxvdN9u8vHP61aM1nWmv2/THxy+uB7wBHAQuBByz+D1iznHNZ9wXcAzzT4OdZwNuNbjMT+FuDn28C1se/7wTUAJ9v8PsQsAb4aaPtLmzi8T/yePEXsQx4usF14fhjfLqZ59AJ7w/f1PjPnYEq4NpEnncizyGR/dLod52BauCKRtftAe5p8LiVwMmN7vt74LnD1H4J3kFXhXdQ3ApMPtx+banepvZjIttJ075LaL+08jkeet0T3QfJvq5NvL96Ag6Y1sw2ZwF/bOb6po6ZjzyH+O1WAtbguu8Dm5vbfqP6fD9e2uGYuQcvSNX/s+OAjcC4VrznWvwca8Nx0uzr1Jqf22v/tnQctfQeS+A92urXJ4nn3eLfsVY872Zfj0SO3UQe43DvyybuW4h3HExtcL+k/v4m8lo09Xoe5vVp1b4HvhV/LqMaXDcc79g+5nD7IUhj1hY2+nkr3riopgzHezHfrL/COVdrZm/jJe6G5rf0eM45Z2aleMm6/rqome2ur8HMhgM/wftPoA/efyU5QFH8LkcC+cDLzTxea59DsvslDy9M1W/zgJktanCbI4EI3n8QDQdnh4H1zRXrnHvMzJ7F+8/kRGA68E0z+3/OuZ8nWm8C+zGR7aRj3yWzX5LZ7scksQ/qJfK6foRzrjzeNfCCmb2M9758xDmXSKtCc8dMY3Nc/NMq7m3gJ2bWNYH7ZsLxUr/dtBwzca/htVqAF6D/E3jRzCYD/ZPYboufY3GtOU7SKW37Nw2fyY0lU1fj1yeR592q16cVnx9NafbYdc7tS+IxPva+NLNRwK/w/k704cPJJw3vm9TfX9p2DDZVZ2uPjQnADOfcigbXJTT+LUhhLdroZ0fz3bzW4DaNNb7uYBKPd7gaZgBb8JqMt+Cl66V4B2TDmhKV6HNozX45nPr7no/3X35DjR/row/sXBXef+4zgVvM7G/Aj8zsVvfhgM2W6m1pPzZXS8PtpGPfJbNfktluUxLdB/VaNdPOOfclM/s9XrC+APiZmV3knHuhhbs2d8wko46P1x1u8H0mHC+J1tHqYwaocM6tPvRgZvPxupSuAerHRiWy3WQ+x5I5Tlp6ndoqnfu3rZ/JLT33ZOpq/Pok8ryT+TvWULKfH62R6GM09b6cAcwDTojftxavVazhfZP9+9uWY7CpOlu77ycADze67ji8FtwVH7/5h4I0Zi0Zq/HSbMOBsiG8JL801Q9mZr3wZm/93Dn3knNuGdCFj4blpXjN3mckuNl0PIfVeG/cExpssxMwrok6i51zqxt9bUjy8Zbi7YOWxrHV15LIfkxEOvZdKvdLs1q5DxJ5XZvknPvAOfcr59ypeN0BX4j/qgav2b8tJptZwz9KJwBbnXP78Lo1Go/9OLrB95lwvNRvtz2PGYcXEgpTvN2mJLLPWnqdUlFDyvdvij6TE32Ptub1SeR5J/2eTuFnaLPHblsew8x6AyOBvzjn1sX/iT+Otv8DkMhrkcxnWmv2fQQYxcdz19eBh5xzFYd7wCC1rCXMOXfQzO4AfmlmO4F1wDeAfsCf0vCQu4GdwFfNbBMwCG8KfqxBTfvN7A/AL8ysGq/7oxcw0Tl3R3s8h3gz+13Ar+KzXrYCP6TBGzhe563ArfGD9TW8sRQnAHXOuTsbbzd+8D4C3I3XfL0fbxDot4GX43+cE9HifkzweaZj3yW9X1op6X2QyOvamJkNxfuv+Gm8/26H4Q2GrX8vrgeON2/G1AGg3DlXl+RzGQj83sz+BIzHG8/x0/jvXon/7gK8/zj/AxgSf9yMOF7i203LMdNAvpn1j3/fA29gcme8rpS0vucS3GeHfZ3aKo37NxWfyYm8R1v1+iT4vFvznk7JZyiHP3bb8hjleCH4OjPbCgzGG9+cbH0fkeBrsZ4EP9Naue/Hxy8vjw8tKcUb6zcC+ExLz6FDhrW4/4lf/h3oDrwHTHfObUv1Aznn6szss8D/4i0Euxr4Jt7aYw19F++N/gO8N+kO4B+H2XQ6nsNNeIMnnwAqgP+L/9zQD+K13YT3x3sf8D7e7JimHMBbzPNGvDdmPl4AeIAPD/AWJbEfE5GOfZfsfklaG/ZBIq9rQxXAEXghuzfe87ofbywJeB+g9+L9F1kADCX5P9D34/3xmYvXYnQX3tIU4AX7o+KX4H0APhGvpV4mHC+QnmOm3plAfX378c64cKlzblYbt5uolvZZIq9TW6V8/6boMzmR596W1yeR553UezqFn6HNHrtteYz4fS8F/og3Bm018N+kZl3Ell6LZD/Tkv08mQCswlsc/kG8MagvAsc557a3VLx9dIygiIiISNMsw1f6z1RmdjvQxznXYitaUzrqmDURERGR9jKBj8++TpjCmoiIiEiaxMfJjacNYU3doCIiIiIZTC1rIiIiIhlMYU1EREQkgwVi6Y7evXu7kpISv8sQERERadH8+fN3Ouf6JHr7QIS1kpIS5s2b53cZIiIiIi0ys6TOMqJuUBEREZEMprAmIiIiksEU1kREREQymMKaiIiISAZTWBMRERHJYAprIiIiIhlMYU1EREQkgymsiYiIiGQwhTURERGRDKawJiIiIpLBFNZEREREMpjCmoiIiEgGU1gTERERyWC+hTUzu9vMSs1scYPreprZTDNbFb/s4Vd9IiIiIpnAz5a1e4Dpja77DvCyc24k8HL8ZxEREZEOy7ew5px7DShvdPWFwL3x7+8FLmrXokREREQyTKaNWevnnNsGEL/s29wNzewaM5tnZvPKysrSWlRVtJY9FTVpfQwRERHxUawGKndDXa3flXxMpoW1hDnn7nTOTXLOTerTp09aH+sXzy1j2m9mpfUxRERExEfrZsOvSmDLAr8r+ZhMC2s7zGwAQPyy1Od6AIjkhaiMZl7SFhERkRSJVniX4QJ/62hCpoW1p4EvxL//AvCUj7UcEskNUROro67O+V2KiIiIpEO0yrtUWPuQmT0IvA2MMrPNZvZl4JfAWWa2Cjgr/rPvCvJCAFTF1LomIiISSBncspbr1wM75y5v5ldntGshCYjkepm2KlpHYZ7PxYiIiEjqxeIta7kRf+toQqZ1g2ak+pY1jVsTEREJqEMta4X+1tEEhbUERMLxsFajsCYiIhJI0SrAIDff70o+RmEtAfVhrUotayIiIsEUrfDGq5n5XcnHKKwloEBhTUREJNiilRk5uQAU1hLyYctanc+ViIiISFrEqiBXYS1r1besaYKBiIhIQNV3g2YghbUERML1S3corImIiARStArCmbdsByisJSSiljUREZFgi1Zk5LIdoLCWkPqwVq2wJiIiEkyxqoxcEBcU1hKiRXFFREQCTi1r2a3h6aZEREQkgDRmLbvlhnIIh0wtayIiIkEVrVTLWraL5IY0G1RERCSoYpUas5btInkKayIiIoGlMxhkv0g4R2PWREREgsg5hbUgKAiHqKxRy5qIiEjgxKoBp7CW7SLhkCYYiIiIBFGs0rvUuUGzWySsMWsiIiKBFI2HNbWsZbcChTUREZFgOhTWtHRHVtMEAxERkYA6FNa0dEdWK9CYNRERkWCKVXmXalnLbhqzJiIiElDRCu9Si+JmN80GFRERCSiNWQuGSDhEtcasiYiIBI/GrAVDQThETW0dtXXO71JEREQklbR0RzBEwt6u0rg1ERGRgNGiuMFQkBcC0Lg1ERGRoFHLWjBEcr2wppY1ERGRgFFYC4ZInsKaiIhIIEUrwXIglOd3JU1SWEtQJLd+zJpmhIqIiARKrMobr2bmdyVNUlhLkMasiYiIBFS0ImO7QEFhLWGRsLpBRUREAilapbAWBAXxsFZZo7AmIiISKGpZC4b6ddbUDSoiIhIwsaqMPS8oKKwlrL4bVKecEhERCZhoRcaeFxQU1hJ2qBtULWsiIiLBojFrwaAJBiIiIgEVrVRYC4KIWtZERESCKaawFgihHCMvlKNFcUVERIImWpmxJ3EHhbWkRMI56gYVEREJGnWDBkckHFJYExERCZpoJYS1dEcgFOSFNGZNREQkSJyLj1nT0h2BEMlVy5qIiEigxKq8Sy2KGwyRvBCVmmAgIiISHNFK71Ita8EQydUEAxERkUA5FNbUshYIBXnqBhUREQkUtawFi8asiYiIBEwsHtY0Zi0YNBtUREQkYNSyFiyRcA6VNZpgICIiEhgasxYskXCIarWsiYiIBMehsKYzGARCJKxuUBERkUA5NGZNYS0QCsIhYnWOaK26QkVERAJBLWvBEgl7u0szQkVERAJCYS1YCsIhAKp0FgMREZFgUFgLlsihsKaWNRERkUCIaemOQFFYExERCZhoJVgIQmG/K2mWwloS6rtBNSNUREQkIKJVGd2qBgprSYlozJqIiEiwRCsyekFcUFhLSkGet7vUsiYiIhIQsaqMnlwACmtJyc/VmDUREZFAiVZk9IK4oLCWlII8hTUREZFAiaplLVA0G1RERCRgohUKa0FyaDZojcKaiIhIIGjMWrAcOt1UTLNBRUREAiFaqTFrQRLJVcuaiIhIoKgbNFhycoy83ByNWRMREQmKaJXWWQuagnBIYU1ERCQoohU6g0HQRMI5WhRXREQkKGJVkKuWtUDxWtY0wUBERCTr1dXFZ4OqZS1QIuGQWtZERESCIFblXWrMWvLM7BtmtsTMFpvZg2aWMXsxojFrIiIiwRCt9C7VspYcMxsE/BcwyTk3DggBl/lb1Yc0wUBERCQgYvVhTUt3tEYuUGBmuUAhsNXneg6JhHM0Zk1ERCQI6lvWtChucpxzW4BbgY3ANmCvc+5Ff6v6UEGexqyJiIgEQlQta61iZj2AC4GhwECgk5ld2cTtrjGzeWY2r6ysrN3qi+SqG1RERCQQDoW1jBka36SMC2vAmcA651yZcy4KPA5MaXwj59ydzrlJzrlJffr0abfiInkKayIiIoEQ0wSD1toInGBmhWZmwBnAMp9rOsRrWdOYNRERkax3aMyaWtaS4pybCzwKLAAW4dV4p69FNVCQpzMYiIiIBEKWLN2R63cBTXHO3Qzc7HcdTYnkhqitc0Rr6wiHMi7rioiISKI0Zi2YCvJCAGpdExERyXYasxZM+WEvrFXVKKyJiIhkNY1ZC6aC+rCmSQYiIiLZLVp/blCtsxYokbC3y9QNKiIikuWiFZCTC6Gw35UclsJakj5sWVNYExERyWqxqowfrwYKa0mLhDXBQEREJBCiFRk/Xg0U1pIWUcuaiIhIMEQrM368GiisJa1+zJrCmoiISJZTWAsmzQYVEREJCIW1YNKiuCIiIgGhCQbBFMnVmDUREZFA0ASDYFLLmoiISEBEq9QNGkT5ufUTDDRmTUREJKtFKxTWgsjMiIRz1A0qIiKS7WJqWQusSDiksCYiIpLtohWQq7AWSAXhEJU1CmsiIiJZTWPWgisSDlEV05g1ERGRrFVXC7XVCmtBFVHLmoiISHaLVXmXCmvBpAkGIiIiWS5a6V1qzFowFWiCgYiISHarD2tqWQumSDikRXFFRESymcJasKllTUREJMvFFNYCLT+cozMYiIiIZLNDY9Z0btBAUsuaiIhIljvUDVrobx0JUFhrBY1ZExERyXKHwppa1gKpvmXNOed3KSIiItIaMbWsBVpBXog6BzW1GrcmIiKSlTQbNNjyc73dpkkGIiIiWUqL4gZbQV4IQJMMREREspVa1oItkquwJiIiktUU1oKtvmVNM0JFRESyVKwSQnmQE/K7khYprLVCJKwxayIiIlktWpkV49VAYa1VIuF4y1qNWtZERESyUrQyK7pAQWGtVerDmsasiYiIZKloZVYsiAsKa61SoLAmIiKS3WKVWbEgLiistcqhblCFNRERkewUrcyKk7iDwlqrfNiypgkGIiIiWSlapZa1IKufDaqWNRERkSwVrdCYtSDTBAMREZEsF6vSbNAgy8/NwUxhTUREJGtFK7TOWpCZGZHckMKaiIhItoqqZS3wIuEcjVkTERHJVloUN/gKwiHNBhUREclWMYW1wIuEQ2pZExERyUZ1tVBbozFrQRcJh6hWWBMREck+0UrvUi1rwVaQp5Y1ERGRrKSw1jFEwjkasyYiIpKNYgprHUJBOERljVrWREREso5a1jqG/HCIqpjCmoiISNaJVniXmmAQbAXhEFVqWRMREck+0SrvUi1rwaZFcUVERLJUfcuawlqwaVFcERGRLBVTy1qHUL8ornPO71JEREQkGfUTDDRmLdgi4RAA1TG1romIiGQVzQbtGLpEcgHYVxX1uRIRERFJStVe7zK/s791JEhhrZWG9CgEYFN5hc+ViIiISFJ2r4f8bhDp7nclCVFYa6WiXl5YW79TYU1ERCSrlK+FniVg5nclCVFYa6XBPQrIMdigljUREZHssnsd9BzmdxUJU1hrpfzcEAO6FbBh10G/SxEREZFE1cZgz0boMdTvShKmsNYGJb0L2bBLLWsiIiJZY+8mqIupZa2jKOrZiY3qBhUREckeu9d5lz3VstYhFPcqpPxgjZbvEBERyRbla71LdYN2DCXxGaEb1RUqIiKSHcrXQW4Eugzwu5KEKay1QVHPTgCs1yQDERGR7FC+DnqUQE72RKDsqTQDFcdb1jTJQEREJEtk2bIdoLDWJp3yc+ndOV/Ld4iIiGQD5+Ita9kzXg0U1tqspJeW7xAREckK+7dDrDKrZoKCwlqbFfUq1PIdIiIi2SALl+0AhbU2K+7ZiW17q6iK1vpdioiIiBxOFi7bAa0Ia2aWb2ZHx78i6Sgqm5T09iYZbFLrmoiISGYrXwcWgu5FfleSlKTCmpmdBWwCFgDvAbvM7G9m1jeVRZlZdzN71MyWm9kyMzsxldtPpaKeXlhbr3FrIiIima18LXQfAqGw35UkJdmWtT8Cs4GRQBFwVfz7BWaWytXl/gA875wbDRwNLEvhtlOqpJe31ppmhIqIiGS4LFy2A5IPa0XAd51za51zm51zjzvnpgGv4gW5NjOzrsApwF0Azrka59yeVGw7HboXhukSydUkAxERkUyXhct2QPJhbREwuInrfwqc0/ZyABgGlAF/N7P34t2snVK07ZQzM4p7FaobVEREJJNVlEPVnqybCQrJh7UHgL+a2YhG1/cBdqemJHKBY4E7nHPHAAeB7zS+kZldY2bzzGxeWVlZih66dYp7dWKjukFFREQy16FlO7KvGzQ3ydvfFr9camYz8CYZ5ACXA99MUU2bgc3Oubnxnx+libDmnLsTuBNg0qRJLkWP3SrFPQt5YfF2YrV15Ia0GoqIiEjGKY+HtSzsBk02rPUBjgEmxL8uA0bFf3ezmV0MLAQWOueeaU1BzrntZrbJzEY551YAZwBLW7Ot9lLSqxOxOsfWPVUUxc8XKiIiIhnkUFgr8bWM1kgqrDnndgEvxb8Ab901YDwfBrhPAt8GurehrhuA+80sD1gLfKkN20q7+oC2ofygwpqIiEgm2r0OugyAvOz7O51sy9rHOOeqgXnxr5Rwzr0PTErV9tKtfvmO9bsqOHmkz8WIiIjIx5WvzcrxaqDTTaVE3y755OfmaJKBiIhIpsrSZTtAYS0lcnKMop5avkNERCQj1RyEA9uhZ4nflbSKwlqKeMt3KKyJiIhknN3rvUt1g3Zsxb0K2VB+EOd8XUVEREREGitf612qG7RjK+lVSFW0jtL91X6XIiIiIg3VL9uRhWcvgCRng5rZ3c38ygFVwGrgYefc1rYWlm2KDp3QvYJ+XSM+VyMiIiKH7F4HBT28ryzUmkVxTwbqgMXx68YBBswHLgZuMbOT48tvdBgl8fXV1u86yPFDe/pcjYiIiBySxct2QPLdoG8C/wYGO+dOcc6dgndi9+eAF4Fi4FngtymtMgsM7F5AKMc0yUBERCTTZPGyHZB8WLsRuMU5dyiRxL//GfAN51wN8Cu8Mxl0KOFQDoO6F7Bea62JiIhkjlgN7N2UtePVIPmw1hkY0MT1/eO/A9hHCs6MkI2KexWysVwtayIiIhlj7yZwdR2qG/QJ4C4zu9TMSsys2MwuBe4CHo/f5nhgZSqLzBbFvQrZoG5QERGRzHHoBO7Z27KWbAvYtcBtwH3x+xoQBe4GborfZhnw1VQVmE1KenVib2WUPRU1dC/M87scERERqV9jLYtb1pIKa/Hxadea2TeB4XhhbbVz7mCD23SoWaANDe3tLd+xqvQAx5VoRqiIiIjvypZDXhfo3NfvSlot6bFlZtYPuA44Em99tSVm9ifnXGmqi8s2Rw/pDsD8DbsV1kRERDLBpndg8EQw87uSVktqzJqZnYS38O3ngEq8hXCvBFab2YmpLy+79O6cz9DenZi3frffpYiIiEjVPihdAkNO8LuSNkm2Ze1W4EHgWudcHYCZ5QB/xltbbUpqy8s+E4t78MryUpxzWBaneBERkay3ZZ43E7Rost+VtEmys0EnAL+tD2oA8e9vA45JZWHZamJxD8oP1rBup9ZbExER8dXGuWA5MGiS35W0SbJhbS/Q1NzXocCetpeT/SYVe+cdm7dBXaEiIiK+2jQH+o6FSFe/K2mTZMPaQ3jrrF1hZkPja61dCfwVr3u0wxvepzPdCsLM17g1ERER/9TGYPO8rO8CheTHrH0bb7mOuxvcNwrcAXwnhXVlrZwcY2JxD+ZtKPe7FBERkY6rdAnUHMj6yQWQZMuac67GOXcj0ANv/NoxQE/nXP15QQVv3NqasoPsPqhdIiIi4ouNc73LALSsJdsNCniL4zrnFjnnFjY8qbt4JsbHrS3YqK5QERERX2yaC10GQrchflfSZi12g5rZ04luzDl3QdvKCYajB3cnN8eYt2E3Z4zp53c5IiIiHc+muV6rWgCW0UpkzNqutFcRMAV5IcYO6qZJBiIiIn7YuwX2boITr/e7kpRoMaw5577UHoUEzaTiHtw3ZwM1sTryclvV2ywiIiKtsWmOdznkeH/rSBGliDSZVNyD6lgdi7fu9bsUERGRjmXjXAgXQv/xfleSEgpraVI/yUBdoSIiIu1s0xwYNBFCYb8rSQmFtTTp2zXCkJ4FzNeZDERERNpP9QHYvhiKsn99tXoKa2k0qbgn8zbsxjnndykiIiIdw5b54GoDsRhuvVaHNTM7xcwiqSwmaCYW92DngWo2lmspOhERkXaxaS5gMDi7T97eUFta1l4FilJVSBBNKomf1F3j1kRERNrHxjnQdwwUdPe7kpRpS1jL/lXm0mxk3y50yc9lnsatiYiIpF9dLWx+F4Zk/ymmGtKYtTQK5RjHFPdggcKaiIhI+pUth+p9gZpcAApraTepuAcrS/eztzLqdykiIiLBtrF+MVy1rEkSJhX3wDmYt77c71JERESCbcNb0Oyh2S8AACAASURBVLkf9Cjxu5KUUlhLs2OLe9A5P5eZS3f4XYqIiEhwxWpg1UwYcVYgTt7ekMJamkXCIU4b3ZcXl+6gtk7rrYmIiKTF+tegei+MOd/vSlJOYa0dTB/bn/KDNbyrrlAREZH0WDYD8jrDsFP9riTl2hLWfgbsTFUhQXbqqD7k5ebw/OLtfpciIiISPHW1sPxZGHk2hIO3Xn+rw5pz7gfOOTUVJaBTfi6njOzDC0u269RTIiIiqbZpLhwsC2QXKKgbtN1MH9efbXurWLh5r9+liIiIBMuyGRDKh5Fn+V1JWiistZMzx/QllGO8sERdoSIiIinjHCx7BoafDvld/K4mLRTW2kn3wjxOHNaL5xerK1RERCRltn0AezfCmPP8riRtFNba0Tnj+rN250FWlx7wuxQREZFgWDYDLARHfMLvStJGYa0dnXNkP8zQrFAREZFUWTYDSk6CTr38riRtFNbaUd+uEY4t6sHzGrcmIiLSdmUrYOcKGHOB35WkVdJhzcxOMrP8xt9LYqaP7c+SrfvYVF7hdykiIiLZbdkM73L0uf7WkWataVn7NzCoie8lAeeM7Q+gWaEiIiJttWwGDD4Oug70u5K0ak1Ys2a+lwQU9SrkyAFdNW5NRESkLfZshG3vB3Yh3IY0Zs0H08f1Z/7G3ZTuq/K7FBERkey07BnvcnRwl+yop7Dmg+nj+uMc/FutayIiIq2z5AnoOxZ6Dfe7krRTWPPByL6dGTeoKw/M3agFckVERJK1YwlsfgcmXO53Je1CYc0HZsaVk4tZsWM/8zbs9rscERGR7PLuXd65QCdc4Xcl7UJhzScXTBhIl/xc7puzwe9SREREskf1flj4MIy7GAp7+l1Nu1BY80lhXi4XHzuIfy/azq4D1X6XIyIikh0W/gtqDsCkL/tdSbtpTVj7OVDexPeSpCtOKKamto5/zdvsdykiIiKZzzmYdzf0Hw+DJ/ldTbtJOqw5537hnNvT+HtJ3hH9unD80J488M4G6uo00UBEROSwNr0DOxZ7rWrWcZZ6VTeoz648oZhN5ZXMXlXmdykiIiKZbd5dkNcFxl/qdyXtSmHNZ9PH9qd35zzu10QDERGR5h3c5a2tdvRlkN/Z72ralcKaz/Jyc/jMpCG8sryULXsq/S5HREQkM71/H9TWwHEdZ2JBvaTDmpnlm9lQMzvSzPqko6iO5vLji3DAQ+9s9LsUERGRzFNXB/P+DkVToO8Yv6tpdwmFNTPrYmZfM7PXgL3AamAxsN3MNpnZX83suHQWGmRDehZy2qi+PPTuJqK1dX6XIyIiklnWvgK713XIVjVIIKyZ2TeA9cDVwEzgQmACcARwInAzkAvMNLPnzWxk2qoNsCtPKKJsfzUvLNH5QkVERD7i3buhsDeMOd/vSnyRm8BtpgDTnHOLm/n9O8DdZnYt8GVgGrAqRfV1GNOO6EtRz0L+Mnst544fgHWgKckiIiLNKl0OK56Dk78Jufl+V+OLFlvWnHOXHiaoNbxdtXPuT865v6WmtI4llGNcf9oIFm3ZyyvLS/0uR0REJDO89msIF8IJ/+l3Jb5p7QSDo+NfkXQU1VF96thBDOlZwO9fWoVzWiRXREQ6uNLlsPhxmHwNdOrldzW+SSqsmdlZwCZgAfAesMvM/mZmfdNRXEcTDuVww2kj1bomIiICH7aqnXiD35X4KtmWtT8Cs4GRQBFwVfz7BWY2IMW1dUhqXRMREUGtag0kG9aKgO8659Y65zY75x53zk0DXsULctJGDVvXXl2h1jUREemgXvuNWtXikg1ri4DBTVz/U+CctpcjoNY1ERHp4MpWwOLH1KoWl2xYewD4q5mNaHR9H2B3akqS+ta1hZvVuiYiIh3QbI1VayjZsHYbMBxYamaPmdn3zeyHwF+Bb6ayMDMLmdl7ZvZMKrebLdS6JiIiHZJa1T4m2bDWBzgb+B5QCVwG/AAYAdxsZg+Z2ffM7LwU1HYjsCwF28lKal0TEZEOSa1qH5NUWHPO7XLOveScu9U5d6VzbhzQGe+0U78DdgKfBO5rS1FmNhg4F+jQC+x+6thBFPUs5NfPryCmc4aKiEjQbX1frWpNSOTcoEMP9/v4mQvmxc9ccAPwOedc9zbW9Xvg20CzCcXMrjGzeWY2r6ysrI0Pl5nCoRy++4nRLN++n/vnbvS7HBERkfSpq4PnvgWdesPUb/hdTUZJpGXtbTO7y8xObO4GZtbDzL4GLAUuaEtB8S7UUufc/MPdzjl3p3NuknNuUp8+fdrykBlt+rj+nDSiF799cQW7DlT7XY6IiEh6LHwYNr8DZ/4IIt38riajJBLWRgPlwLNmVmZmz5vZ383sjvgYtYVAKXAl8HXnXFvXWzsJuMDM1gMPAaebWZu6VbOZmfGj88dSUVPLrS+u8LscERGR1KvaBzN/CIMmwdGf87uajJPIidz3OOe+BQwCvgYsB7oDQ4EYcC9wjHPuJOfcC20tyDn3XefcYOdcCd4Ehlecc1e2dbvZbGS/LnxhSgkPvbuJhZv3+F2OiIhIar32azhYBp/8NeQkfdrywMtN9IbOuUrg0fiXtLMbzxzJU+9v5eanl/DYtVPIyTG/SxIREWm7spUw5w445koYNNHvajJSQvHVzO4zs2+Y2Slm1iXdRdVzzs1yzqViGZCs1zUS5n+mj+K9jXt4/L0tfpcjIiLSds7B8/8D4U5wxs1+V5OxEm1rHIi3ntosYLeZLTezB8zsm2Z2qpl1TVuFcsglxw7mmKLu/PLfy9lXFfW7HBERkbZZ/iyseQVO+x50Du5kwbZKKKw55053zvXEW/z2cuBJvAVyvwu8ghfgVqatSgEgJ8f48QVj2XWwmj+8tMrvckRERFovWgkvfBf6HgnHfcXvajJawmPWAJxza4G1wCP115lZCTAJODaVhUnTjhrcncuPL+Lvb67jk+MHMLG4h98liYiIJO/lW2DPRvjisxBKKo50OG2ecuGcW++ce9Q5971UFCQt++4nRjOgWwE3PfIBlTW1fpcjIiKSnHWvw5w/wfHXQMlUv6vJeJofm4W6RML85tKjWLfzIL96frnf5YiIiCSuej889Z/Qc5i3AK60SGEtS00Z3psvTinhnrfW89aanX6XIyIikpgXvw97N8NFf4a8Tn5XkxUU1rLY/0wfzdDenfjWIwvZr9mhIiKS6Va9BPPvgSk3QNFkv6vJGgprWawgL8Stlx7Ntr2V/OzZZX6XIyIi0rzK3fD09dBnDJyqYe7JUFjLchOLe3DNKcN56N1NvLqi1O9yREREmvbv73inlPrUHRCO+F1NVlFYC4BvnDWSI/p15tuPLqR0f5Xf5YiIiHzU4sdg4UNw8k0w8Bi/q8k6CmsBkJ8b4n8vP4b9VVFufPB9YrV1fpckIiLiKVsBT90AQybDKTf5XU1WUlgLiNH9u/LTi8bz9tpd3DZTJ5MQEZEMUH0AHr4KwgVw6T0QCvtdUVZSWAuQT08czOXHD+FPs9bw0tIdfpcjIiIdmXMw40bYtQo+fRd0Heh3RVlLYS1gbj5/LOMGdeW///U+G3dV+F2OiIh0VO/+DRY/6p2kfdipfleT1RTWAiYSDnHHFRMB+M8H5lMV1emoRESknW2eD89/F0aeDVO/6Xc1WU9hLYCG9Czkts9MYPGWffx4xlK/yxERkY6kohwe+QJ0GQCf+gvkKGq0lfZgQJ15ZD/+89ThPPjORu55c53f5YiISEcQq4aHr4QDO+Az90JhT78rCoRcvwuQ9Pnm2aNYVXqAW55ZypCehZwxpp/fJYmISFA5B0/fABvehEvugkHH+l1RYKhlLcBCOcYfLpvA2IHduOHB91i8Za/fJYmISFDN/hUsfBhO+z6M/7Tf1QSKwlrAFeblctcXJtG9IMyX732XbXsr/S5JRESC5oOHYdYv4OjPaeHbNFBY6wD6do1w1xeP42B1LV++Zx4HqmN+lyQiIkGx/k3vBO0lJ8P5fwAzvysKHIW1DmLMgK7cfsWxrNixn/968D2dkkpERNpu52p4+AroXgyf/Sfk5vldUSAprHUg047owy0XjuWV5aV8+9GF1NU5v0sSEZFstWcT/PMisBBc8QgU9PC7osDSbNAO5orJxZQfqOG3M1dSmB/iJxeOw9RkLSIiyThQCv+4EKr2wRdnQM+hflcUaAprHdD1p4/gQE2Mv8xeS6f8XL4zfbQCm4iIJKaiHP5xEezfDlc9AQOO9ruiwFNY64DMjO9MH83Bai+wdcnP5frTR/pdloiIZLrq/XD/p72Ts1/xCBRN9ruiDkFhrYMyM265YBwV1bXc+uJKCvNyuXqqmrFFRKQZ0Up48HLY+j589j6dnL0dKax1YDk5xq8/fRQVNbXc8sxSwiHjqhNL/C5LREQyTU2FN+tz/Rtwyd9g9Cf9rqhD0WzQDi43lMMfLp/AmWP68YOnlvC319f6XZKIiGSS6v3wwGdg7Sy48HadncAHCmtCfm6IO648lnPHD+Cnzy7j/15e5XdJIiKSCSr3wD8vhg1vwcV/hWOu8LuiDkndoAJAOJTDHy6bQH5uDr+duZKqWC03nT1Ks0RFRDqqinJvHbUdS+Ez98KY8/2uqMNSWJNDckM53Hrp0eSHQ9z+6hqqonV8/9wxCmwiIh1N/Tpqu9bAZQ/AEWf7XVGHprAmH5GTY/z8U+PIz83hrjfWsb8qys8+NZ5wSD3mIiIdQvk6uO8S2L8NrviXZn1mAIU1+Rgz4+bzj6RrQZj/fXkVpfuruf1zx9IpX28XEZFA27LAm0xQF4OrntQ6ahlCzSXSJDPjv886gl9cPJ7XV+3ksjvnULa/2u+yREQkXVbNhHvOg3ABXP2igloGUViTw7r8+CL++vmJrC49wMV3vMnasgN+lyQiIqm24J/wwGeh13D48kvQ5wi/K5IGFNakRaeP7seD15zAwepaLrnjLeZvKPe7JBERSQXnYNYv4enrYdg0+NJz0KWf31VJIwprkpAJQ7rz+Nem0K0gzOV3zuWReZv8LklERNqipgIe/RLM+gUc/Tn43L8gv4vfVUkTFNYkYSW9O/HkdSdx3NAefOvRhfzkmaXEauv8LktERJK1dzPcfQ4seRLOugUu+hOEwn5XJc1QWJOkdC/M454vHc8Xp5Rw1xvruPreeeytjPpdloiIJGrjXLjzVNi93mtNO+lG0HqaGU1hTZIWDuXwowvG8ouLx/P2mp186vY3WaOJByIime+9++De87zuzq+8pMVus4TCmrTa5ccXcf9XTmBPZZQL//gmzy7c5ndJIiLSlGgVzLgRnroOiqfAV16GPqP8rkoSpLAmbXL80J48c8NURvbrzHUPLODHM5ZQE9M4NhGRjFG+Du46C+bfA1O/AVc8BoU9/a5KkqCwJm02sHsBD19zIl86qYS/v7mez975Nlv3VPpdloiILH8O7pwGezbA5Q/BmT+CkM5Gk20U1iQl8nJzuPn8sdz+uWNZuX0/5/7v68xeWeZ3WSIiHVNtFGbeDA9dDj2Gwn+8BqM+4XdV0koKa5JS5x41gKdvmErfLhG+cPc7/OzZpVTHav0uS0Sk4yhfC3dPhzd/D5OuhqtfgB4lflclbaCwJik3vE9nnrr+JK46oZi/vr6OT93+FqtLNVtURCStnIP3H4Q/nwy7VsGl98J5v4NwxO/KpI0U1iQtIuEQP7loHH/9/CS276vivP97nfvnbsA553dpIiLBU7kHHvsyPHktDDgavvYWjL3I76okRRTWJK3OOrIfz994MseV9OT/PbGYa/45n7L91X6XJSISHOte91rTljwJp/8AvjADug32uypJIYU1Sbu+XSPc+6Xj+f65Y5i9soxzfv+a1mQTEWmrmoPw3Le9RW5DufDlF+GUmyAn5HdlkmIKa9IucnKMr5w8jGdvmMqQHgVc98ACrn9gAeUHa/wuTUQk+2x4G/48Fd75C0y+Fq59EwZP8rsqSROFNWlXI/t14bGvTeFb54zihSXbOft3s3l+8Xa/yxIRyQ7RSnjh/8HfPwF1tfDFZ+ETv4K8Qr8rkzRSWJN2lxvK4brTRjDjhqn06xrh2vvm87X75lO6r8rv0kREMtfaWfCnE+HtP3pLcnztLSiZ6ndV0g4U1sQ3o/t35cnrTuJb54zi5eWlnHHbbB6Yu5G6Os0YFRE5pKIcnvga/ONCMPMmEJx3G+R39rsyaScKa+KrcLyV7YWvn8K4gd343hOLuOzOOVqXTUTEOVj4L/jjJFj0Lzj5m15r2tBT/K5M2pkFYd2rSZMmuXnz5vldhrSRc45H5m/mZ88uo7Kmlq+eMpTrThtBYZ7OYyciHUzZSvj3t7yuz0ET4fz/hf7j/K5KUsTM5jvnEp4Ror+CkjHMjM9MGsLpo/vy82eXcfura3jyva384LwjOWdsP8zM7xJFRNKr+gC89ht4+3YIF8InfgPHfVnLcXRwalmTjPXOunJ++NRilm/fz7Qj+vCjC8YytHcnv8sSEUk952DpU/DC92DfFphwBZz5Y+jcx+/KJA2SbVlTWJOMFqut4x9vb+B3M1dSHavj6qlDue604XSJhP0uTUQkNXYsgee/C+tmQ//x8MnfQtFkv6uSNFJYk0Aq3V/Fr/69gscWbKZ35zxuOnsUl04aQihHXaMikqUOlMGrP4MF90KkG5z6PW9JjpBGKAWdwpoE2sLNe7hlxlLmbdjNmAFd+eF5R3Li8F5+lyUikrhYNcz9izc2LVoBx30Vpn0bCnv6XZm0E4U1CTznHM8u2sYvnlvOlj2VnDmmL/8zfTQj+3XxuzQRkebV1cGSx+GVn8Du9TDyHDj7p9DnCL8rk3amsCYdRlW0lrvfXMcdr67hYE2MSycO4etnjWRAtwK/SxMR+ai1s2DmzbDtfeg3Ds76MYw40++qxCcKa9Lh7D5Ywx9fXc0/396AGVw9dSjXThtOtwJNQhARn21f5IW0NS9DtyFw+vdh/GcgR2vSd2QKa9JhbSqv4LcvruDJ97fSNZLLf0wbzhenlNApX4N1RaSdla2EWT+HJU9ApDuccpM3Ni0c8bsyyQAKa9LhLdm6l9teXMnLy0vp1SmPr506nCtPKCYS1qKSIpJmu9fD7F/DBw9CbgGccC1MuQEKevhdmWQQhTWRuPkbdnPbzBW8uXoX/btGuO604XzmuCHk5yq0iUiK7dkEb9wGC/4BFoLjvwonfV2L2kqTFNZEGnlrzU5ue3El8zbspn/XCF87dTifPW6IWtpEpO12b/BC2nv3ez8fexWc8i3oOtDfuiSjKayJNME5x1trdvGHl1bxzvpy+nbJ59ppw/nc5CKFNhFJXvk6eP23Xnen5cAxV8HUb0D3IX5XJllAYU3kMJxzvL3WC21z15XTu3MeV08dypUnFNNVp7ASkZaULoM3fgeLHoWcXJj4Ba+7s9sgvyuTLJL1Yc3MhgD/APoDdcCdzrk/HO4+CmvSGnPX7uL2WWt4bWUZXfJzuerEYq6eOpTenfP9Lk1EMs3mefD6bbDiWQh3golf9CYOdB3gd2WShYIQ1gYAA5xzC8ysCzAfuMg5t7S5+yisSVss2ryXO2av5t+Lt5MXyuGzxw3hK1OHUdSr0O/SRMRPzsHql+HN38P6170lOCZfC5P/Q6eGkjbJ+rDWmJk9BfzROTezudsorEkqrCk7wF9mr+GJ97ZQW+eYPq4/Xz15GMcUacq9SIcSq4HFj8Jb/welS6HLADjxeq81Lb+z39VJAAQqrJlZCfAaMM45t6+52ymsSSrt2FfFPW+t5745G9hfFeP4kp585eShnDGmH6Ec87s8EUmXyt0w/x7vJOv7t0HfsV5X57hLIDfP7+okQAIT1sysMzAb+Jlz7vEmfn8NcA1AUVHRxA0bNrRzhRJ0B6pj/OvdTdz1xjq27KmkuFchX5xSwqWThtBZZ0UQCY6ylTD3z97MzmgFDDsVpvwXDD8dTP+gSeoFIqyZWRh4BnjBOXdbS7dXy5qkU6y2jheW7ODuN9cxf8NuuuTncumkIXxxSonGtYlkK+dgzSsw5w5YPRNCed45O0+4FvqP97s6CbisD2tmZsC9QLlz7uuJ3EdhTdrL+5v28Pc31/Hswm3UOscZo/vy+RNLmDqiNznqIhXJfFX7vBa0d/8GO1dCp75w3Fdg0pegc1+/q5MOIghhbSrwOrAIb+kOgO85555r7j4Ka9Letu+t4v65G3jwnY3sPFDD0N6duPKEYj49cTDdCrRem0jGKV0G7/wVFj4MNQdg0ETvxOrjLoZcLdcj7Svrw1prKKyJX6pjtTy/eDv3vrWeBRv3UBAOceGEgXxuchFHDe7ud3kiHVusGpbNgHl/hw1vQCjfmyxw/Fe8sCbiE4U1EZ8s3rKXf769gac/2EpltJbxg7pxxeQizj96IJ00IUGk/ZSv9WZ1vnc/VOyE7sVeN+cxn4dOvfyuTkRhTcRv+6qiPPneFu6fs5EVO/bTOT+XCycM5LLjihg3qCum2WUiqRerhuXPwoJ/wNpXwUIw6hMw6WoYdhrk5PhdocghCmsiGcI5x4KNu7l/zkaeXbSN6lgdRw7oymXHD+HCCYM0tk0kFUqXwYJ/epMGKsuh2xDvpOrHfl6ngpKMpbAmkoH2VkZ5+oOtPPzuRhZv2Ud+bg6fGNefT08cwpThvTSTVCQZVXth8ePw/v2w+V3ICcPoc72ANuxUyAn5XaHIYSmsiWS4xVv28vC7m3jq/S3sq4oxqHsBlxw7iEsmDqa4Vye/yxPJTHV1sG62F9CWzYBYFfQZDcdcCUdfDp16+12hSMIU1kSyRFW0lplLd/Do/M28vqqMOgfHlfTg4mMH88nxA9RNKgJQtgI+eAgW/gv2bYZINxh/KUz4HAw8VmcYkKyksCaShbbvreKxBZt5fMFm1pQdJC83h7PG9ONTxwxi2qg+hEMaHC0dyIEyWPwYLHwItr7nTRYYfjpMuBxGnQvhiN8VirSJwppIFnPOsWjLXh5fsIWnP9hK+cEaehSGOfeoAVw0YRDHFvXQ+DYJpuoDsOI5rwVtzSvgaqH/UXD0ZTDu09Cln98ViqSMwppIQERr65i9oown39/CS8t2UBWtY1D3Ai6cMJALJwxiVP8ufpco0jaxGi+YLXrEC2rRCug6GMZfAkddBv2O9LtCkbRQWBMJoAPVMV5csp2n3t/KG6t3UlvnOKJfZ84/aiDnHT2Qob01MUGyRG0M1r/udXMumwFVe6CgBxx5ERz1GRhygtZEk8BTWBMJuLL91Ty/eBszPtjGO+vLARg3qCvnHTWQc8cPYEjPQp8rFGmkrhY2zoElT8DSJ+FgGeR1hlGf9M7NOfwMyM3zu0qRdqOwJtKBbN1TyXOLtjFj4TY+2LQHgKMGd+OT4wcouIm/6mph49uw5ElY9jQc2AG5ETjiHO/8nCPPhnCB31WK+EJhTaSD2lRewXOLtvHsom0s3LwXgPGDuvGJ8f2ZPrY/w/p09rlCCbzamHfC9KVPw/JnPgxoI8+GsRfByHMgX+9DEYU1ETkU3J5bvP1Qi9uofl2YPq4/08f1Z3T/LjpHqaRGrBrWzvIC2opnoXI3hAthxJkKaCLNUFgTkY/YuqeS5xdv5/kl23l3fTnOQXGvQs4+sh9nj+3PsUU9CGk5EElG1V5YNdNrPVs1E2oOQH5XOGI6HHmBNwYtT13wIs1RWBORZpXtr2bm0h28uHQ7b63eRU1tHb065XHmmH6cdWQ/po7sTSSs8ypKE/ZthRX/huXPwrrXoC4Knfp4kwRGnwfDpkFuvt9VimQFhTURScj+qiizVpTx4tIdvLq8lAPVMSLhHE4e2YezxvTjtNF96dNFf3w7LOdgx2JY/py3Btq2973rewyFMefB6PNh8CSdNF2kFRTWRCRpNbE65q7bxcylO3hp6Q627q3CDCYM6c4Zo/ty+uh+jBmgcW6BF62Eda/Dqhdg5QuwdxNgMPg4GPUJrxWtzyidj1OkjRTWRKRNnHMs3baPl5aW8sryHXwQn1k6oFuE00f35fTRfZkyvDcFeWpRCYS9m71xZytf8CYKxCq9CQLDT/eW2ThiOnTu63eVIoGisCYiKVW6r4pZK8p4efkOXl+1k4qaWvJyczhxWC9OG9WH00b3pbiXzqCQNWpjsPkdWPWiF9J2LPau71YEo6Z7Aa14qk6WLpJGCmsikjbVsVreWVfOq8vLmLWilLU7DwIwrHcnTjmiD9NG9eGEob3U6pZp9m2F1S/D6pdg7avebM6cXCg6EUaeBSPOgr5j1L0p0k4U1kSk3azfeZBXV5Qye2UZb6/ZRXWsjrzcHCYP7cm0I/ow7Yg+jOjbWWPd2lu0CjbNiQe0l6F0iXd9l4Ew4nRvkdphp0Kkm59VinRYCmsi4ouqqNfqNnul1+q2psxrdRvQLcLJI3tz8sg+TB3Rmx6ddA7IlHMOdq70gtmaV2D9G97Ys5wwFJ/oLVA74kzoe6Raz0QygMKaiGSEzbsreH3VTl5fVcYbq3ayryqGGYwb2I2pI3tz8ojeTCzpQX6uukxb5UCpNyFg7SxY8yrs3+pd32uEtyjt8NOhZKrOHiCSgRTWRCTjxGrrWLhlL6+v3Mkbq8t4b+MeYnWOSDiH40p6MnVEb04a0ZsjB3QlR2dTaFr1AdjwFqyb7QW0+okBBT1g6DSvW3P46dCj2MciRSQRCmsikvEOVMeYu3YXr6/ayZurd7Kq9AAA3QvDnDisF1NG9GbK8F4M692p4453i1XD5nne2QLWzoIt86AuBqF8KJoMw07zAtqAo7UwrUiWUVgTkaxTuq+Kt9bs4s3VO3lrzS627KkEoF/XfKYM782Jw3px4vBeDOkZ4PNN1sa8swSsm+0tTLtxjjfuzHJgwAQvmA2bBkMmQ7jA72pFpA0U1kQkqznn2LCrgrfX7uKtNbt4e81Odh6oAWBwjwJOGNYr/tWTwT2yOLzVxmDbB7D+dW9CwMY5ULPf+13fsTD0FBh6MhRP8bo6EI+ozAAAHJJJREFURSQwFNZEJFCcc6wqPcBbq3cyZ205c9ftYndFFPDC2+ShvZg8tCeTh/WkqGdh5nab1kZh63uw4U1Y/+ZHw1nvUd5kgJKpXkjr1NvfWkUkrRTWRCTQ6uocK0v3M2fNLt5eu4t31++m/KDX8ta/a4TJw3py/NCeHF/S09813qKV3pizjW97AW3TOxCt8H7XexSUnAQlJ3sBTadzEulQFNZEpEOpq3OsLjvA3HXl/P/27jy4zfPA7/j3IUgIIHiABEnxAClSt6jDkiPlnCarWKsoSmNrPGlqjzNuaqf5o1Gb3XY6cabbSdP+4R5Te9pJ2jrd9ey2Y9lO9o+Nk80mzUZOW2fXjuTIFnVYF0XxvsALIsULfPrHAwKkTtgWiZfE7zPzzvsSeEE+8COCPz/nW60x3ro6xEB8CoCywgL2Nbrwtq+xnObaEgp8eUtTkBsjLpBd+40LaF2/g7kZwMDaHa47s/FT0PBJKKpcmjKIyIqgsCYiOW1+zNtv24b47dUhTrQNcS3mWrQK/T72NITZu86Ftz0NYUJr8j/YDxrtdF2Z1/7GnfvPAdZt41S7x4Wzhk+6mZsacyYiCyisiYjcpHd0kpPXhjjZNsyJtiHO94wxZyHPwLaaEvauK+MjjeXsXVdGbfg2My0Ts25ds463XDDreAvGutxz/iKo/6jbZ7P+YxDdB/4VPPFBRJacwpqIyD3EJ2f4XfsIb7cNcfLaMO90jDAxnQDc9lifiuZzsLidB7hA5ci75HW9DTNu+yxK6lwoq/+Y28qpajv4PmDrnIjkpPcb1vQJIyI5pzhQkNponrk5ZvvO0Xv2DSZa/5biwVPUXLkGwKzN4zzr6Ah9lqmGfZRu+Ts0b2umqjiQ5XcgIrlEYU1Ecsv4oJul2XUSOk9A1+/InxojChAsh3X7oP5JYuW7OTHdxInuKd6+NszZ90aZOdsD9FAXDvLgujJ214fZ0xBme22J9jgVkSWjsCYiq9fMJPS2QNfb6XA23OaeMz5Y2ww7/54bcxbdB+XrIbnURwQ4BBx60N0+OZPgbPcYp9qHOdU+wsm2IX7yrts8vcBnaK4tZU99mN31YR6oD9MY8fCabyKyomjMmoisDnNzMHgRun+XDGdvQ++Z5PIZQHEtRPcmj31uT01/6EP9yL6xSU61j/BOxwin2odp6RpNjX0rDRbwQH2Y3dFSHqgPsysaprJ4zYd9lyKyCmiCgYisftbCaIdby6z7d8nzO+kdAfxFbvmM6F6o+4g7SmqXvFiziTkuD1znnfYR3u0c4VT7CBf74swlP2brwkF2pcJbKTvqSikJFCx5uUTEWxTWRGR1sRbiPS6MdZ9y4az7FEzE3PN5BVC9E+oedKGs9kGo2AR53hhDNjE9y5muMU53uha4052jtA9NpJ5fXxFiV7SUnVEX4JprSj742m8isiJoNqiIrFwLg1nPO+mANt7vnjc+qNoGWz7vWs5q97jdAfK9271Y6M932181laceGxqfpqVrlJZOF97ebB3iL95x49+MgY2VReyscy1vOxXgRHKeWtZEJDvmuzJ7TqeDWc+7C4JZnttDs3a3C2U1u10L2ipdcLZ/bNIFuK5RWjpHOd01mto2yxjYUFnEjtoSdiRDXHNtibpQRVYodYOKiPfMzcHQFRfGet6F3tPufGPYPW/yoHKrC2Q1D7iAVr3zQ08AWOn6xiZp6RzlTPcoZ5JBrm9sKvV8Y6SQ7bWlbK8rcefaEiqKvNvKKCKOukFFJLtmJmHgvGsx6z3tzn1n0zsA+PxQ1QzbvuiCWfUDsHb7qm0x+zDWlgRY2xzgQPPa1GP98UnOdo1xtnuUs91jnO4a4S9beha8Zg3ba13X6fZaF+KiZUHy8rSMiMhKpbAmIh/c+KBbx6zvjDv3tsDABbBu+Qr8xa6FbM9XoGYXVO9yLWj5/uyWewWrKg5QtTXA/q1VqcdGJ2Y42zPKue4xzna7IPd/Lg6QSE5DLV6Tz7aaEpprS2iuKWFbTQmb1hYRKPDGJAwRuTuFNRG5t8Ss68ZMBbMz7hxPt+hQXOuC2ZbD7ly9E8qaIC8ve+XOEaWFBXxyQwWf3FCRemxyJsF7vXHO94xxrnuMcz1j/PBkR2odOF+eYX1FiOZaF9621ZSwrbqYyuI1WsxXxGMU1kRksfEY9J91XZfzoWzgPZiddM/nFUDlFmj6DFTvcLMxq3dCqOLu31eWVaDAx+7kjgrz5uYsbbFxzve4EHe+Z4wTV4f4cXImKkAk5GdrTTHbqkvYWlPC1upiNlapFU4kmzTBQCRXzUzC4AXoO5cMZ+dcQLvem74nVOXGk82HsrXb3QxNdWOuKqMTM5zvHeO9njHO98R5r3eMC31xJmfmANcK11QRYmt1MVuri9lS7UJcXVhj4UQ+CE0wEJHF5hJuP8y+s9B/Ph3Mhq6AdX+M8a1xrWUbPusC2fxRVHXXby2rQ2lhAR9fH+Hj6yOpxxJzlmuxcd7rjbsQ1xvnnY4Rfno63fUd8vvYtHY+wBWzZW0xm6uLNSNV5D5Ty5rIamEtjHa6QDZwPhnMzrkB//NdmBgoa3RBrKrZbWRetd1tYO7T/7vJvV2fmuViX5wLve54r3eMC71xhidmUvdUFPnZvLZ4wVHEprXFlAa1LpwIqGVNZPWzFsa6k4HsvQXnC+m9MQGKa9zMy31fc8GsaptrPVvha5fNzMzQ2dnJ5OTkvW9eIQKBANFolIIC74eZojX5PNhQxoMNZanHrLUMXp92Aa4vzsXeOO/1xfnRyQ7GkxMaAKpLAmxaW7QowG2qKqJYi/uK3JVa1kS8ar6lbOCCG+A/cD55fQGmxtL3FVYkg9hWd65qhqqtECy78/dewa5evUpxcTGRSGRVzFq01hKLxYjH4zQ1NWW7OPfV3Jyla+QGl/rjXOi9zsW+OBf74lzuv87U7FzqvtrSABuTwW3z2iI2VrlJDWqJk9VKLWsiK838mLKBC27A/3w4G7wE09fT94UqXSDb9fddC9l8QMuxWZiTk5M0NjauiqAGYIwhEokwMDCQ7aLcd3l5hvryQurLC/ns1vTCvok5S8fQBBf74lzqv87l/utc6o/z0lux1KQGcAv8bqwqYlNVMRuqithYWcSmtUVEQv5VU/8imVBYE1kuMzcgdjkZyi6lg1nsMiSm0/cV17owtucr7lyxJRnKInf+3jlmtf2hXm3v5158eYbGihCNFSEObk8/Pjdn6Ry+4VrfBuZD3PVbulPDhQVsrCxiY5U75oOcZqfKaqWwJnI/WetW9R+8mDwupa9H2oH5YQfJgf6VW2DjgQWhbDMESrP4BkSyJy/P0BAppCFSyAHSLXHWWnpGJ7mcbIW7PHCdy33X+d/n+njlREfqvjX5eayvLGJDZYgNlS7EbagMsb6iiKBf68TJyqWwJvJBzE7B0FWIXUoGskvp68mR9H35QYhshOhe2P0EVGxywax8AxQEsld+kRXEGENtOEhtOMinN1cuem5ofJrWZCvcleT5dOcof9nSw8Ih2XXhIOuTIW7hubokkHMtm7LyKKyJ3Im1EO9Nh7DYlfT1yLX0GmUARdUuiO14FCo2u+uKzVAS1XZLq9QLL7zAqVOneP755zl06BDHjx/H5/Px1FNP8dOf/pSqqirOnDmTun96epoDBw5w/Phx8vP10Xu/lIf8lIfK2dtYvujxyZkEbbFxrvSPc2XABbnWgfFbulQL/T6aKkI0VYRSrXLrK4poqgxRtEb1JN6gf4kiN0bcArGxK278WOq4sniA/3wrWe1u2PkliGxyoSyyEQIl2Su/ZMXp06fZuXMnL774Io8++ig+n+tm++pXv8rRo0d58sknF93v9/t56KGHePXVV3niiSeyUeScEijwsbW6hK3Vi383rbX0jU3ROh/gBsdpHRjn3c6RW1rjqorXpELc+mSga6oMUV9WiD9f/xMmy0dhTXLD9DgMtboAlgpmyevxhbPwDITrXRBr+IQLYvNHSZ1aySSlpaWFxx57jG9961scO3Ys9finP/1p2trabvuaI0eO8O1vf1thLYuMMVSXBqguDfDJjYtnUk/OJLgWm+DqYDrEXR0c5+dnehYt+uvLM0TLgjRGQqlWucaKEE2REHVlQXya5CD3mcKarB7TEzB89aZQ1urO8Z7F9xZVQ2QDbD6Ubh0r3+AG/Wss2Yrx3Z+c5Vz32L1vfB+aa0v4zhe33/O+M2fOsGXLFlpbW2lsbMzoe+/YsYMTJ058yBLKUgkU+Ny2WdXFtzw3MjHN1cHx1NE6OE7b4Dgn24YWdasW+NxyJU2RUGrGa1MkxLpIIbVhBTn5YBTWZGWZiruB/fOhbKg1GchaId69+N7CChfI1u+HyHoXxiIb3NZKa279MBbJVEdHB0VFRczOzhIOhzN+nc/nw+/3E4/HKS7Wv8GVJFzoZ0+Dnz0NixebttYyEJ/i6uA4bbFxrg5O0Ja8/s2VwUXrxvl9edSXuxa5dZEQjRWF7hwppC4cJN+nlnu5PYU18RZr4cawC2RDrQtCWfI83r/4/lClC2Hrf8+FsMh6KGtyoUxLYKx6mbSALYX58WrBYPB9b3s1NTVFIKDW29XCGENVSYCqkgAfW794LcS5OUtffJK2wQmuxcZpi6WD3N9ciXFjJt0il5/sWm1IhreG8sJkqHOLCgcKtPRILlNYk+U3l4CxrgUtZAvPbYu3UgI3VqysCTYfdMGsfH3yaFILmWRFS0sLu3btoqysjEQiweTkZEYBLBaLUVlZuSL2AJUPLy/PUFMapKY0yCc2LA5y8y1ybbEJ2mLjtMcmuJo8n2ofJj45u+j+6pIADZFC1pUXsi5SSEMkREO5+zpcWKDlR1Y5hTVZGlNxGL7mQthwW/oYuuoWh51LD9YlrwDCDS581X/MncuaXCArWwcFwSy9CZHba2lp4Qtf+AIABw8e5I033uDAgQMAPP744/z6179mcHCQaDTKd7/7XZ5++mkAXn/9dQ4fPpy1cot3LGyR+2jT4mVHrLWMTMxwbci1yF2LTXAtNkH70Di/vjjAQHxq0f3FgXwX3JKtcA3JY115iJpwgAJ1r654CmvywSRmYawzGcKuuXXHFoayidji+wOlLoBV74Tmh91A/rImdy6pA5/+KcrK8dJLL6Wujx49ynPPPZcKay+//PIdX3fs2DGeffbZJS+frGzGGMpCfspCfnbX3zomcmJ6lo6hG7Qnw1zH0ATXhiZ4rzfOX5/rZzqRHifnyzPUlAZSAW5+r9b6siAN5YWUa5/VFUF/IeX2rHVLWgwnQ9hI24JQdg1GO8Gmx1uQlw+lURe+tn0RwuvcdXkykAXLbvtjRFa6PXv2sH//fhKJRGqttduZnp7myJEjbNmyZRlLJ6tRoT//jrNWE3OWvrFJ2ocmaI9N0DE84a6HJvjr830MXp++6Xv5qC8rpL48mAxx84EuSH1ZISEtDOwJxi5cAXCF2rt3rz158mS2i7GyzA/kH25z3ZIj7S6IjbQnQ1k7zN5Y/JpQleuWnA9iC6/VOibL5Pz582zbti3bxbjvVuv7Em8Zn5qlc/gGHckA1zE8QcfQBB1DN+gYnmBiwTIk4HaIiJa54BYtDxItc61y0bJComVBTXz4gIwxb1tr92Z6v/66rlbzYWw+gN3uWLg6P7iuyvA6t5n4pt9PBrFkIAs3gL8wO+9FRETui9CaO7fKWWsZGp+mIxnmOodvpMLcuZ4xfnmub1EXK0BF0RqiZcHkUXjLtcLc/aGwtlLNzbllLEY6YLTdnUfaYTR5HumAmfHFr1lTkm4Ja/qMC2ALj2Dm60WJiMjqYowhUrSGSNGa246Vm5uz9Men6Bx2QW7+3DE8wZmuUX5xtpeZxOLeuooiP3VhF97qyoLJ62DqujigmdGZUFjzqsSMW95itDMZyG4KY6NdkFg8I8i1jDW41fjX70+GsPp0y5jCmIiIfEB5eemtuvY23vp8Ys4tR9I57LpXu4Zv0Dl8g66RG3dsmSsJ5FNXVpgOceF0kKsrCxLRBAjAo2HNGHMI+M+AD/hja+2/y3KR7i9rYXLUBbHRThfARjsWBLPO5PZIN40nLFrrBvFX74KtX4DShnQgK63XZuIiIpI1vkVhrvyW5+fmLIPXp+gcubEgyLlQ1zE0wZutMa5PLV5fbk1+HnXhILXhYOpcGw6kwlx1aYA1+au/q9VzYc0Y4wO+D/w+0AmcMMa8Zq09l92SvQ+z027ro1QYu80xHV/8Gp/fDdIP18OG/S6Ulda7c7jBPac9K0VEZIXKy0uvLfdgw60rBFhrGbsxS+fIBN0jk3QNT9A9OumC3cgNXr/QT/9Na8wBVBavcSGuNJAMc0HqwgFqSt11JOQnb4Xvyeq5sAZ8FLhsrW0FMMa8AjwCeCOszc3B9b50F+VYl+uSHO1IX1/v45ZWscKIC16RDbD+M+lgVtrgHg9VQp4WLhQRkdxkjKG0sIDSwlK2195+u8Cp2QS9o5N0JVvnekYn6R5xXa0X++K8fqF/0X6sAP78PGpKA9TMh7nSIDXhQOpcUxqkJJDv6e5WL4a1OqBjwdedwMeyVBbnxJ9Ay49cEIt3w9ziZloKCl3gKqmDTdtci1hJXbJ1LPm4ZlKKiIh8KGvyfayLhFgXCd32eWstwxMzdI+kg1z36A26RybpGbnBm1di9MWnSMwtblAJ+X3UhIPUlAb4V3+3mc1rvbWVoRfD2u2i7S2LwRljvg58HaChoWFpSzQ7BSYPGj4OpXXpIDZ/DpaBhxO5iNx/L7zwAqdOneL555/n0KFDHD9+HJ/Px89//nO++c1vkkgk+NrXvsYzzzwDuEVxDxw4wPHjx8nP9+JHr8jKZ4yhPOSnPORnR93tW+dmE3P0x6fomQ9xC849o5Pke7DL1IufGJ1A/YKvo0D3zTdZa38A/ADcorhLWqJP/GN3iIgknT59mp07d/Liiy/y6KOP4vP5SCQSfOMb3+CXv/wl0WiUffv28fDDD9Pc3Izf7+ehhx7i1Vdf5Yknnsh28UVyVr4vLzW27SPrsl2azHhxkNQJYJMxpskY4wceA17LcplERBZpaWlh165dvPTSSzzyyCMA/Pa3v2Xjxo2sX78ev9/PY489xo9//OPUa44cObJoX1ERkUx4rmXNWjtrjDkK/AK3dMeL1tqzWS6WiHjRXz0DvS3393tW74TP33u1oDNnzrBlyxZaW1tpbGwEoKuri/r6dMdANBrlrbfeSn29Y8cOTpw4cX/LKyKrnufCGoC19mfAz7JdDhGR2+no6KCoqIjZ2VnC4fRi07fba3nhDDOfz4ff7ycej1Nc7K0BzCLiXZ4MayIiGcmgBWwpzI9XCwaDTE5Oph6PRqN0dKQns3d2dlJbW7votVNTUwQCWjNRRDLnxTFrIiKeNj9eraysjEQikQps+/bt49KlS1y9epXp6WleeeUVHn744dTrYrEYlZWVFBRoP0QRyZzCmojI+9TS0sLOnTsBOHjwIG+88QYA+fn5fO973+Nzn/sc27Zt48tf/jLbt29Pve7111/n8OHDWSmziKxc6gYVEXmfFs7oPHr0KM899xwHDhwA4PDhw3cMZMeOHePZZ59dljKKyOqhljURkQ9hz5497N+/n0Qicdf7pqenOXLkCFu2bFmmkonIaqGWNRGRD+mpp5665z1+v58nn3xyGUojIquNWtZEREREPExhTURERMTDFNZEZMW53eKzK9lqez8icn8prInIihIIBIjFYqsm4FhricViWihXRO5IEwxEZEWJRqN0dnYyMDCQ7aLcN4FAgGg0mu1iiIhHKayJyIpSUFBAU1NTtoshIrJs1A0qIiIi4mEKayIiIiIeprAmIiIi4mFmNcyoMsYMANeW+MdUAINL/DPk/VGdeJPqxZtUL96jOvGm5aiXddbaykxvXhVhbTkYY05aa/dmuxySpjrxJtWLN6levEd14k1erBd1g4qIiIh4mMKaiIiIiIcprGXuB9kugNxCdeJNqhdvUr14j+rEmzxXLxqzJiIiIuJhalkTERER8TCFtQWMMYeMMReMMZeNMc/c5vk1xphXk8+/ZYxpXP5S5p4M6uWfGWPOGWNOG2N+ZYxZl41y5pp71cuC+75kjLHGGE/NrlqNMqkTY8yXk78vZ40xx5a7jLkog8+wBmPM68aYU8nPscPZKGcuMca8aIzpN8acucPzxhjzX5J1dtoY8+Byl3EhhbUkY4wP+D7weaAZeNwY03zTbU8Dw9bajcDzwL9f3lLmngzr5RSw11q7C/hz4D8sbylzT4b1gjGmGPinwFvLW8Lck0mdGGM2Ad8GPmWt3Q78wbIXNMdk+LvyR8APrbV7gMeA/7q8pcxJfwocusvznwc2JY+vA/9tGcp0RwpraR8FLltrW62108ArwCM33fMI8GfJ6z8HHjLGmGUsYy66Z71Ya1+31k4kv3wTiC5zGXNRJr8vAP8WF54nl7NwOSqTOvlHwPettcMA1tr+ZS5jLsqkXixQkrwuBbqXsXw5yVr7f4Ghu9zyCPA/rfMmEDbG1CxP6W6lsJZWB3Qs+Loz+dht77HWzgKjQGRZSpe7MqmXhZ4G/mpJSySQQb0YY/YA9dbany5nwXJYJr8rm4HNxpjfGGPeNMbcrWVB7o9M6uVfA18xxnQCPwP+yfIUTe7i/f7tWVL52frBHnS7FrKbp8pmco/cXxn/NzfGfAXYC3xmSUskcI96Mcbk4YYKfHW5CiQZ/a7k47p1fg/XAv3/jDE7rLUjS1y2XJZJvTwO/Km19j8ZYz4B/K9kvcwtffHkDjz1914ta2mdQP2Cr6Pc2hSduscYk49rrr5bM6p8eJnUC8aYA8C/BB621k4tU9ly2b3qpRjYAfzaGNMGfBx4TZMMllSmn2E/ttbOWGuvAhdw4U2WTib18jTwQwBr7d8CAdz+lJI9Gf3tWS4Ka2kngE3GmCZjjB83yPO1m+55DfgHyesvAcetFqpbavesl2R32wu4oKYxOMvjrvVirR211lZYaxuttY24sYQPW2tPZqe4OSGTz7C/APYDGGMqcN2irctaytyTSb20Aw8BGGO24cLawLKWUm72GvBkclbox4FRa21PtgqjbtAka+2sMeYo8AvAB7xorT1rjPk3wElr7WvAn+Capy/jWtQey16Jc0OG9fIfgSLgR8n5Hu3W2oezVugckGG9yDLKsE5+ARw0xpwDEsC/sNbGslfq1S/DevnnwP8wxvwhrqvtq2oIWFrGmJdxwwEqkmMFvwMUAFhr/ztu7OBh4DIwAfzD7JTU0Q4GIiIiIh6mblARERERD1NYExEREfEwhTURERERD1NYExEREfEwhTURERERD1NYExEREfEwhTURERERD1NYExFZwBhTYYyxxpg/NMacMMZMGmMuGmMOZrtsIpKbFNZERBbbkzwfBZ4BdgGngWPGmGDWSiUiOUthTURksd24rZgOW2t/Za29CHwLiABbs1oyEclJCmsiIovtBn5irb2w4LHpbBVGRERhTURksd3AqZse2wdMAhduvV1EZGkprImIJBljAsAWbv1s/APgFWvtxPKXSkRyXX62CyAi4iE7k+fHjTG/AvqBPwI2Al/OWqlEJKepZU1EJG03cAn4DvAyrju0GNhnre3NZsFEJHcZa222yyAi4gnGmO8DldZataKJiGeoZU1EJG03bk01ERHPUFgTEQGMMQY3Zk1hTUQ8Rd2gIiIiIh6mljURERERD1NYExEREfEwhTURERERD1NYExEREfEwhTURERERD1NYExEREfEwhTURERERD1NYExEREfGw/w/I9xTqA2A8BwAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 720x576 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "from scipy import stats\n",
    "\n",
    "fig=plt.figure(figsize=(10, 8))\n",
    "\n",
    "plt.title('Información de Shanon en la distribución de Bernoulli de acuerdo al parámetro $p$',fontsize=14)\n",
    "p=np.linspace(1e-3,1-1e-3,100)\n",
    "I_1=-np.log2(p)\n",
    "I_0=-np.log2(1-p)\n",
    "plt.plot(p,I_1,label=r\"$I(1)$\")\n",
    "plt.plot(p,I_0,label=r\"$I(0)$\")\n",
    "plt.xlabel(\"$p$\", fontsize = 14)\n",
    "plt.ylabel(\"$I(p) = -\\log \\ p$\", fontsize = 14)\n",
    "plt.legend()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Aunque el contenido de información proporciona información interesante sobre eventos específicos $ x $, en algunos casos nos gustaría conocer el contenido de información de una distribución de probabilidad. En este asunto, lo más razonable sería estimar la información esperada. Esta cantidad se conoce como entropía."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Entropía de  Shannon</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Supongamos que $X$ es una variable aleatoria discreta. Le entropía (de Shanon) de la variable aleatoria $X$, o lo que es lo mismo, la entropía de la distribución asociada a $X$ se define por\n",
    "\n",
    "$$H(X)=\\sum_{x\\in \\Omega} P(X=x)I(x)=-\\sum_{x\\in \\Omega}P(X=x)\\log{P(X=x)} = -\\sum_{i} p_i\\log p_i.$$\n",
    "\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Notas</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. En ocasiones, la entropía de Shanon para una variable aleatoria $ X $ con probabilidades $ p_1, \\ldots, p_M $ se denota $ H (p_1, \\ldots, p_M) $. Por ejemplo, la entropía de una distribución de Bernoulli a veces se denota $H(p,q)= H(p,1-p)$.\n",
    "1. Una variable aleatoria discreta con $M$ posibles valores, de llama uniforme, si todos sus posibles valores tienen la misma probabilidad $p_i=1/M$. En este caso la entropía se $H(1/M, \\ldots, 1/M)$.\n",
    "1. Algunos autores llaman a  $H(X)$  *incertidumbre*.\n",
    "1. $H(X)$ es una esperanza. La entropía es solo la **sorpresa media** de la variable aleatoria $H(X)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Algunas propiedade básicas de la entropía de Shanon</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. La entropía de Shanon siempre es no negativa. La razón es como cada $p_i$ está entre 0 y 1, $\\log p_i  \\le 0$ para todos los $p_i$.\n",
    "1. La entropía de una variable aleatoria con M diferentes valores está acotada. En realidad $H(p_1, \\ldots, p_M)\\le \\log M$. La igualdad se tiene para distribución uniforme. ¿Puede explicar por qué intuitivamente esto tiene sentido?\n",
    "1.  Si en una variable discreta se tiene que todos los $p_i=0$, excepto para un $p_k=1$, entonces la entropía de Shanon es cero en ese caso. ¿Puede explicar por qué?. Tenga en cuenta que hemos adoptado la definición $0\\log 0 = 0$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Racional de la definición de la entropía de Shanon</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para comprender el significado de $ - \\sum_i p_i \\log p_i $, primero defina una función de información $ I $ en términos de un evento $ i $ con probabilidad $ p_i $. La cantidad de información adquirida debido a la observación del evento $ i $ se deduce de la solución de Shannon de las propiedades fundamentales de la información:\n",
    "\n",
    "Shanon propuso que una función que midiera la información debería tener las siguientes cuatro propiedades:\n",
    "\n",
    "\n",
    "1. $I(p)$  disminuye monotónicamente en $ p $: un aumento en la probabilidad de un evento disminuye la información de un evento observado, y viceversa.\n",
    "2. $I(p)\\ge 0$ : la información es una cantidad no negativa.\n",
    "3. $I(1) = 0$ : los eventos que siempre ocurren no comunican información.\n",
    "4. Para dos eventos independiente $A_1$ y $A_2$, con probabilidades $P_1$ y $p_2$ respectivamente $I(p_1 p_2) = I(p_1) + I(p_2)$. Es decir, La información debida a eventos independientes es aditiva.\n",
    "\n",
    "\n",
    "La última es una propiedad crucial. Establece que la probabilidad conjunta de fuentes de información independientes comunica tanta información como los dos eventos individuales por separado.\n",
    "\n",
    "La única función que cumple con las propiedades de la información de Shanon es la función $\\log$. En particular se tiene que $\\log(p_1  p_2) = log p_1 + \\log p_2$.\n",
    "\n",
    "- $\\leadsto$ La entropía proporciona una medida sobre la información promedio de una distribución. Por ejemplo, en el caso de Bernoulli, la entropía máxima se logra cuando el parámetro es 0.5, es decir, cuando todos los eventos son igualmente probables.\n",
    "\n",
    "Hay una interpretación importante de la entropía que está relacionada con el número promedio de \"contenedores\" o shannons (relacionados con la base del logaritmo, en este caso 2) necesarios para representar la información de $ X $. Por ejemplo en el caso de Bernoulli, requerimos 1 bit para representar los datos."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Dos desigualdades de la teoría de información</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Se puede comprobar que si $0\\le p \\le 1$, entonces  $-p\\log p\\ge 0$.\n",
    "\n",
    "-$\\leadsto$ Esto implica que la entropía de Shanon es siempre positiva.\n",
    "\n",
    "Adicionalmente, si  $p_1,\\ldots,p_M$ y  $q_1,\\ldots,q_M$ números positivos arbitrarios tales que $\\sum_i p_1 =1$, y $\\sum_i q_i=1$. Entonces,\n",
    "\n",
    "$$\n",
    "-\\sum_{i=1}^M pi\\log p_i \\le -\\sum_{i=1}^M pi\\log q_i,\n",
    "$$\n",
    "la igualdad se tiene si y solo si $p_i=q_i$ para todo  $i$*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Teorema</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "H(p_1,\\ldots,p_M) \\le log(M),\n",
    "$$ \n",
    "\n",
    "*la igualdad se tiene si y solo si  para todo $p_i$, se tiene que* $p_i = 1/M$.\n",
    "\n",
    "Este teorema nos ayuda a entender la entropía de la siguiente manera.\n",
    "\n",
    "1. Entre las distribuciones discretas con  $ M $ posibles resultados, la distribución uniforme $ U \\{x_1, \\ldots, x_m \\} $ tiene la mayor entropía. Esto se debe a que los resultados de la variable tienen la misma información que contienen (sorpresa).\n",
    "2. En general, la entropía es mayor para variables aleatorias discretas con mayor número de valores posibles. En particular, la entropía de la distribución uniforme, dada por $ \\log M $, es una función creciente de $ M $."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Ejemplo: entropía de las distribuciones de la familia Bernoulli</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Supongamos que $X\\sim Bernoulli(p)$, por lo tanto: $x \\in \\{0,1\\}$, Podemos observar el comportamiento de la entropía al variar el parámetro de distribución en la siguiente gráfica"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAm8AAAH2CAYAAAAmt2ueAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAAgAElEQVR4nOzdd3hUVf7H8fc3HUgooYSW0HuviqBiBbtgA7u46urq2tefrrquq+66xVXXXlHXBbuoqLgWUBCWIr23QELokBDSMzm/P+6gMQYIkOTOJJ/X88wDM3Pnzmfm3sx855x7zjXnHCIiIiISHiL8DiAiIiIiFafiTURERCSMqHgTERERCSMq3kRERETCiIo3ERERkTCi4k1EREQkjKh4EwHMLMLM7jCzgX5nERERORAVbyKeh4ATgQWVtUIzO9/MjmgiRTMbbmbOzJpUVq4KPu8SM3ug1PVUM7vjCNfpzOz8gyxzpZntPZLnqWCWqWb2VFU/T1Uws71mduURrqMytmddM3vXzLKC27btkazvIM/1gJktqej12q7s39rBrkv4UfEmlcbMxgc/FMpeZh3COtoGH1NtLWBmdi5wAnCBc664up43zAwCnqnIgsH94JNy7moBfFypqQ7faOBuv0OEuXHAccAwvG2bVoXP9Xfg+CO4/6CCPxxKf25lm9lsMzvjSNYbokLpb1EOQ5TfAaTG+RK4rMxthZX9JGYW45yrlPU65z4EPqyMddVUzrntlbCOLQe638yij/Q5DiHLrup6rhqsI7DcObe4qp/IObcX2G+L7MHuPwS5QIfg/+sDNwDvm1kn59zGw12pmUU754oqIV+lONjfooQ+tbxJZStwzm0pc/nxizL4i/ZaM3vHzHLMbJ2ZXVrq8euD/84JLjs1+LjxZvaJmd1lZulAevD2Rmb2mpntNrM8M/vSzHqUer4rg91MZ5nZKjPLN7NvzKx92WVKXe9gZpPMbEsw4w9mdubBXriZXW5mG8wsN9jylFTOMmeZ2bxgjvVm9rCZxVT0zTWzxmY2wczSg693qZldVWaZ48xsVvB1Z5nZ/8ys5wHW2Sz4evOC+ceVs8zPutnM7LpS7+d2M5tiZlHBrtYrgDNKtWAMDz7mx66aUi2sY83sazPLA64r8z7tb3v9oous7DYM3nZG8LXnmdlOM/vYzOKC9/2s2/QQ9qOTzOtSzgnmalfmOQ+4fc1stJktCj7HLjObZma/2E9KLd8xmDXfzFaWtx+aWSszmxjMvtvMJptZp/2tcz/Pc1swV46ZbTKzl8ys4QGWnwrcDBxnP/87vdTM5pjXarXNvL/zVqUet+8wgNOC71OemX1nZq3N7HgzWxh8nz8xs8alHnfAbtGy95vZIDP7wsx2mNkeM5tuZkMq8Fa4Up9bq4B7gRig9L4QY2aPmvc3mBN8vSPKeY2nm9dyVwiM2JfRzMaY2drge/ShlTokwrxjb+8zszQzKzCzxWZ2Tqn7y+2ZsEPsBj3U5SX0qHgTP9wPTAL6AG8Br5hZm+B9g4P/jsRr2h9d6nHHA72D950UvG08cBRwTvCxucDnZlan1ONigT8AVwFDgEjgAzOz/eSLBz4DTglmfA/v13fX/b0gMzsqmOUFoC9el8SDZZYZAbwJPIX3ZTAOOB94ZH/rLUcc8ANwZnAdTwDPm9lJweeIwntvpwezHxVcJnCAdY7Ha0U5GTgXuBxou7+Fg18cTwN/BLoEH/d58O6/A2/jtcC2CF6+P8Bz/xmvO7Y7P7V+Hur2Ki/jSLz34b/AALxu8Wns/zNvPBXbj+7G225DgIbAc6We84Db18yaAxOB14BueF2ObxzgNUQAHwQzDwmu74Fgjn3L1AW+AfLx/j6GAJuBL4P3VVQJcEsw98XB9+BfB1h+NPAqMJOf/53G4G27Pnj7aBNgQjmP/2Pw+Y4CGuF9DtwPXAsMD+Z44BDyl5WA994eG3wtC4BP7RCOHQ3+LV2F994uLHXXq3jv9cVAL7zt+bGZ9Smzikfxir+uwP+Ct7UFLgJGAacC/YCHSz3mZuBO4K7guj/A++zpW9HcUks453TRpVIueF+AxXjdF6Uvj5ZaxgF/LnU9Cu+L8tLg9bbBZQaWs+7tQGyp2zoFlz2u1G0NgCzgV8HrVwaXGVpqmTZ4xczJpZbZe5DXNgu49wD3/wf4b5nbXvL+xH68/i1wX5llzg2+R7af9Q4P5m9ygOeeCLwU/H9icPnjK7jNOh/g/Xmg1G2pwB3B/48OvscJB9gPPinndgecX2Y7315mmYpsrweAJeU8bm+p6zOAiQd43VOBpw5jP+pSaplL8A4JiKjI9gX6B9fRpoLb5tTg604pdduw4DquDF4fB6wuvf/gFbs7gQsPsO4ft+d+7h8JFOx7bftZ5ilg6kFeQ9dg3tZl9ucRpZa5MXhb/1K3/WwbH+r1cnIYXlF76QGW2beN931uBfA+m8aUWqYDXqGbUuaxHwLPlHmN55VZ5gG8QrBBqdt+D6wpdX0TcH85++q/y/zdlP18/PFv63Cu6xJ+Fx3zJpXtW7xfz6Vllrm+aN9/nHPFZrYdaFaBdS9xzhWUut4N74N0Zqn1ZZnZYryWnH1KgNmlltlgZhnBZb4s+yRmVg+v9eBMvFaFaLwWr0Vlly2TpewBwDOBq0tdHwAMNrO7St0WAdQBmuN9uRyQmUUC/4f3670VXitMDN4HPM65XWY2HphiZl8BXwHvOOf2dzD5vvewvPdnf/4LbADWm9kU4Avgfedc9sHyl2NuObcd0vbaj354RWRFVHQ/KnDOrSx1PQNv32gI7OLg23dhMP8SM/si+P933f6PJ+wGbHI/P9bqf8Gs+wwA2gHZZRom6/LTsVsHZWYn4rUqdsMrXCPx9qvmwddZ0fX0x/vb6Yv3Q2JfqBSChzoElf5b2hr8d3GZ2yrymbC/HM2AP+G1uCbhvZ46wRwHkouXHbz38GTgVTPb45z7FK8AN2BZmfc7Fvi6zLrK27c3OOeySl3PIPg6zaw+0BLvh0dp04HTD5JbahkVb1LZcp1zaw6yTNkDdx0V68LPKXP9QN1oRzJFx9/xWh7uwGvVyAVex/sy25+KdOlF4HUXvVPOfRUdEHAHcDte98pivBaCRyj1Reecu8rMHsd7DWcDD5vZuc65KYeZ+2ecc9nBL+nj8LqW7wYeMbNBzrkKf9EHld2mFVHCL3MfyWCHiu5HZUci77svotS/+92+zrmAmZ0KHI3XqnY18GczO945t7Ccx1R0n1oAjCnnvgoNyggesjAZeBGv63InXpEygQPv82XXUw+Ywk+DlrbhdZt+V856Sn8GeE1BPz+gv6KfCfvzGl7RditeK2MB3g+Zg70eV+bza1Fwm90NfBrM5PBGX5f9HMsrc728fbsin33lfXbtu21f4f7jvmHVONBHQoeOeZNQs28EaWQFll3GT8cDAT/+eu0VvG+fCLwP233LpOD9wl2+n/UOA153zr3nnFuE12JwsFaMZXhfyqWVvf4D0NU5t6acS0WnKBkGfOyce8M5twBYi9f1+TPOuYXOuUedc8PxWuWu2M/6lrP/92e/nHPFzrmvnXN34x2HWA+vpRK8bViR7bc/B9te24GkMsfAlT0maD4/HRd5MBXdjw7moNvXeWY65/6I9xoz8FpR95erlZkll7ptMD//3P4B73jFHeU8Z0VH1A7EK2puDWZbxUG2/350xSvW7nHOfeucW8ERtJ4doWHAv5xzk51zS4FsvFb0wxHAa4UDb78yoHk57/emIwnsnNuDtz8MK3PXMH7aD/f9yCv9WnQ8XC2kljepbLHBA7NLCxyga6isbXi/YEeYWSqQX6ab4UfOudVmNgnvgP1r8bpnHwb24B2Dtk8x8LiZ3Rxc9z+Bpey/C24VMCq47iK8bqC4g+R+EvjezO4G3sU77mVUmWUeBD4xsw14B/UXAz2Bwc653x1k/aWzXWRmw4AdwE143WbzAcwb/Xgd8BHe8TPt8YqrZ8tbmXNupZl9zk/vYR7wGL9sRfiReSMeO+B1ke/C65pK4KfiKhU4zcy64LXiZLlDmybhYNtrKl6X3D1mNhHvvS47cu5hvIPI1+DtC4bX2vW8cy63zHtQ0f3oYA64fc3saLxuuCl43YL9gGT2XyB+CawAXjezW/G6/f7Jz1sA38RrjZ1kZvcDG4PrPAd4zjm3ugK5V+MVhLeY2ft4PzpuqfCr/slGvBauG83sabwu2D8dxnoqwyrgUjP7H94Pi79SsSmLrNTnVx28luURBAcfOedWmdmbwHgzux2veE7E2wfXOefeP8LcfwMeNLPVwDzgUrxBFwOCz59n3ryZd5nZWrwu7j8f4XNKGFLLm1S2k/GO3Sp9mV/RBwdbKH4L/ArvV+ikgzzkKrzjoz4K/lsXGOmcK118FOB9Gb+Od8xQBDDaObe/rtXb8IrI7/BGnc4K/v9AuWfhdYNdj3c8z2jKjJYLdluegVfszA5e/g/vS6+iHgo+7jO84ikH7wt8n1y8lrh38L7AXgve/+gB1nkl3hQtX+Mdt/cfvAJsfzLxDsTfV1zcgXdg/7736EW8Qm4uXkvB0Aq+tn0OuL2cc8vx3udr8d7rUygzYjd4fNIo4DS8/W8a3vte+nix0iqyHx1QBbZvFt578QlewfQP4E/OuX/vZ30lwdcQEXwfXsfb/gWllsnF675eh7fNV+Bt80bA7grmXoTXDX8bXiH5K7xtekiCP9CuwNs3luH96LntUNdTScbhjRqfhzeg5xUOvE/vU5efPreW4x2icD8/HxF6Fd6I07/ivd+f4G2DDZWQ+0m8Au6vwBK87X9esJV9n31T+cwBnscb0Sq1jO3/+0sk/Jl3GqGnnHPxfmcRERGpDGp5ExEREQkjKt5EREREwoi6TUVERETCiFreRERERMJIjZkqpEmTJq5t27Z+xxARERE5qHnz5u1wzjU9nMfWmOKtbdu2zJ1b3tlIREREREJLcE7Iw6JuUxEREZEwouJNREREJIyoeBMREREJIyreRERERMKIijcRERGRMKLiTURERCSMqHgTERERCSMq3kRERETCiIo3ERERkTCi4k1EREQkjKh4ExEREQkjKt5EREREwoiKNxEREZEwouJNREREJIyoeBMREREJI9VevJnZK2a2zcyW7Od+M7MnzWyNmS0ys/7VnVFEREQkVPnR8jYeGHmA+08DOgUv1wLPVkMmERERkbAQVd1P6Jz71szaHmCRc4DXnXMOmGVmDc2shXNuc7UEFJFaqyhQQm5hgMLiknLvj4mMoE5MJDFROuJERPxT7cVbBbQC0kpdTw/epuJNRA5JTkExabtz2bgzl63ZBezcW8DOvYXszClgx95Cdu4tIKcgQG5hMXlFAYoCrkLrjYow6kRHUicmkvjYKBrVi6FxvRgax8fSJD6GJvGxNEuIJTmxLsmN6tKgbnQVv1IRqU1CsXizcm4r9xPVzK7F61olJSWlKjOJSIgKlDg27Mxh1dZsVm7Zy+pt2aTtyiVtdx67cgp/sXzDutE/FlqdkxKIj42ibkwkdWK8f+vGRBIbFQFW5qPIOQoDjrzCYnILA+QWBsgrDLC3sJjdOYVs2JnLDxt3syunkJIyn1gJcVEkN6pLSmJdOjSrR+ekBLo2r0+7JvXUiicihywUi7d0ILnU9dZARnkLOudeAF4AGDhwYMV+MotI2CoOlLByazbzN2ayMC2T5Vv2sHrrXgqC3Zxm0LpRHdok1mNEjwYkJ9YhuVFdkhPr0qJBHIn1YoiOrNpiKVDiyMwtZHNWPum7c0nblee1/u3KZdW2bP67fCuBYHUXFWF0aBpPl+YJ9EluSL+UhvRoWZ/YqMgqzSgi4S0Ui7ePgBvNbCJwFJCl491Eaqc9+UXMXreLORt2MX9jJovTs8grCgCQWC+GHi3rc9nRbejcPIGuzRPo2CyeujH+fqxFRhiN42NpHB9Lz1YNfnF/QXGAddv3tRR6lzmpu/hoofcbNTrS6N6yAf2SGzKgTSOGdGhMk/jY6n4ZIhLCzBsXUI1PaDYBGA40AbYCfwCiAZxzz5mZAU/hjUjNBa5yzs092HoHDhzo5s496GIiEsLyiwLM27CbGWt28P3anSzelEWgxBETGUH3lvXpl9KQvskN6ZfciOTEOljZrs0wtnVPPvM3ZrIgLZP5G3ezeFMWuYVeodq1eQLHdGjCMR0ac1T7RBLidAydSLgzs3nOuYGH9djqLt6qioo3kfC0dU8+Xy7fylfLtzF9zQ4Ki0uIjDD6JjdkaIfGDOnQhH4pDYmLrl1dicWBEpZk7GHGmh3MXLuTOam7KAi+NwPbNOKU7kmc3C2Jtk3q+R1VRA6DijdUvImEk5VbspmydAtfLt/KovQsAJIT63BytySO69SUQe0SiY8NxaM6/JNfFOCHjbuZvnoHX6/Yxoot2QB0bBbPyd2SOKV7Ev1TGtao1kiRmkzFGyreRELdxp25fLRwEx8tzGDV1r2YQd/khj8WHp2axavwOARpu3J/bLGctW4nxSWOVg3rcFaflpzdpyXdWiTo/RQJYSreUPEmEop27C3gowUZTFqYwcK0TAAGtW3E2X1aMqJnc5olxPmcsGbYk1/El8u28tHCDL5bvYNAiaNjs3jO7tOSUf1akZxY1++IIlKGijdUvImEikCJY/qaHUycvZH/LttKcYmje4v6nN23JWf1aUmrhnX8jlij7cop5NPFm/loQQazU3cBcGynJlw0KJlTuidpGhKREKHiDRVvIn7bnJXH23PSeXtuGpsy82hUN5rz+rfmokHJdEpK8DterbQpM4935/60TRLrxTC6XyvGDE6hY7N4v+OJ1Goq3lDxJuIH5xzzNuzmlRnr+XzJFkocDOvYhDGD1coTSsprDR3WsQnjhrVleOdmRETo2DiR6qbiDRVvItWpsLiETxdv5pUZ61mUnkX9uCjGDk7hkqPakNJYx1eFsu3ZBbw9N403Zm5gy5582jWpx1VD23Je/9bU0whfkWqj4g0VbyLVITu/iDdmbeC171PZuqeA9k3rcdXQdpzXv5XvZzaQQ1MUKOGzJVt4efp6FqZlkhAXxcWDU7j62HYaSCJSDVS8oeJNpCrtzink1e9TGT9jPXvyizm2UxPGDWvH8Z2aqsutBvhh425enr6ezxZvJjoygjGDkrn2+A4aXCJShVS8oeJNpCpsy87n5e/W8+9ZG8gpDDCiRxI3ntCJXq1/ec5OCX+pO3J4dupa3vshHTMY3a811w/voLM4iFQBFW+oeBOpTLtyCnl26hpen7mBokAJZ/ZuyW9O6EiX5ho1Whtsyszj+WlrmTgnjeJACaP6teaWkztpvjiRSqTiDRVvIpVhb0ExL3+3nhe/W0dOYTGj+rXixhM60r6pppWojbbtyeeFb9fx+qwNOOe45Kg23HhiR5rEx/odTSTsqXhDxZvIkSgoDvDmrI08/c0aduYUcmr3JO4Y0YXOmp9NgIzMPJ78ajXvzEsnNiqCq4e145rj2lM/LtrvaCJhS8UbKt5EDodzjsmLN/PnT1ewKTOPIe0bc+fILvRPaeR3NAlBa7fv5bEvVjF58WYa1o3mtlM6c/HgFKIiI/yOJhJ2VLyh4k3kUC3ZlMWDHy9jduouujZP4J7Tu3FspyY6mbkc1OL0LB75dDkz1+2kc1I8953ZnWM7NfU7lkhYUfGGijeRitqWnc/fp6zknXnpNKobw+2ndmbMoBQiNeWHHALnHFOWbuWRT5ezcVcuJ3drxu/P6E47jUwVqRAVb6h4EzmY4kAJ479P5fEvV5NfFODKY9py00mdaFBHxy3J4SsoDvDK9FSe+no1hYESxg1rx80nddKkzSIHoeINFW8iBzJ/427u+WAJyzfv4YQuTbnvzO4aQSqValt2Pn/73GvRbdWwDg+e04OTuiX5HUskZKl4Q8WbSHmy8or425QVvPm/jSQlxPHA2d0Z0aO5jmuTKjN7/S5+/8FiVm/by8gezfnD2d1p0UBnahApS8UbKt5ESnPO8cmizTz4yTJ27i3gimPacvupXYjXicelGhQWl/Did+t48qvVREUYt5/ahSuOaavjKkVKUfGGijeRfbZl53PP+0v4cvlWerVqwCOjeul0VuKLjTtzuW/SEqat2k6/lIb87fw+dGym7noRUPEGqHgTcc4xaUEGf/hoKflFAe44tQvjhrVTa4f4yjnHRwu9/TK3MMAdp3bm6mHttV9KrXckxZv6UERqgG3Z+dz7wRK+WLaV/ikN+dsFfeigAQkSAsyMc/q2YkiHxvz+gyU88ukKPl+yRfuoyBFQy5tImPt4YQb3TVqiVg0JeWVbh+8c0YVxQ9sRof1VaiG1vInUQtn5Rfxh0lLen7+JvskN+fsFOp5IQpuZcW6/VhzToTH3fLCYhyYv55uV23jswr4k1Y/zO55I2NAJ6UTC0PyNuznjyel8uGATt5zciXd/PUSFm4SNZvXjePHygfx5dC9+2JDJyMe/5YulW/yOJRI2VLyJhJFAieNfX63m/OdmEihxvH3dEG45ubNODC5hx8wYOziFj28aRsuGdbj2jXn8/oPF5BUG/I4mEvLUbSoSJjIy87hl4gJmp+7i7D4teWhUT+rH6dRWEt46Novn/RuO4R9frOKFb9fxv/W7eHJMP7q3rO93NJGQpZ/rImFg6sptnPHkdyzNyOKxC/vwxJi+KtykxoiNiuSe07vxxtWD2ZNXxKhnZvD2nDS/Y4mELBVvIiEsUOJ47IuVXDV+Dkn14/j4pmGM7t9ap7eSGunYTk359OZjGdi2Eb97bxF3vLNQ3agi5VC3qUiI2rG3gJsnzmfGmp2cP6A1fzqnJ3ViIv2OJVKlmsTH8vq4o3jiy1U8+fUalmzK4plL+tNec8KJ/EgtbyIhaG7qLs548jvmpu7mr+f15u8X9FHhJrVGZIRx26ldePWqQWzZk8/ZT83g08Wb/Y4lEjJUvImEEOccb8xMZcwLs4iLjuT9G47hwkHJfscS8cUJXZox+bfH0rFZPDe8+QN//mw5gZKaMbG8yJFQ8SYSIgqLS7jngyXcN2kpx3Vuykc3DqNHS51QXmq3Vg3r8PZ1Q7jkqBSen7aOq1+bQ1Zekd+xRHyl4k0kBGzPLuDiF2cxYfZGbhjegRcvH0iDOhpNKgIQExXBw6N68dC5PZm+egejnpnB2u17/Y4l4hsVbyI+W7Ipi3Oems6SjCyeHNuP343sqnOTipTj0qPb8OavjiIzt4hzn57BNyu3+R1JxBcq3kR89PHCDM5/7nsA3v31MZzdp6XPiURC21HtG/PRjUNJblSXcePn8Py0tTin4+CkdlHxJuID5xxPf7OGmybMp2fLBky6cRg9W+n4NpGKaN2oLu9eP4TTe7bgz5+t4J4PFlMUKPE7lki10TxvItWsKFDCvR8s4a25aZzTtyV/Pb83sVGaBkTkUNSNieJfY/vRtkldnv5mLZsy83n64n4k6MwjUguo5U2kGu3JL+KqV+fw1tw0fntiRx6/qK8KN5HDFBFh3DmiK4+e14sZa3ZwwXMzycjM8zuWSJVT8SZSTdJ353L+s98za91O/np+b247tYtOcyVSCS4alML4qwaxaXce5z49gyWbsvyOJFKlVLyJVIMlm7IY9cz3bM7K57Vxg7lwoCbeFalMx3ZqyrvXH0NUhHHh8zM1ElVqNBVvIlVs5tqdjHlhFjGREbx//TEM7djE70giNVKX5gl8+JuhtGtSj2tem8uH8zf5HUmkSqh4E6lCny/ZwhWvzqZFgzjevX4InZIS/I4kUqM1qx/HxGuPZlDbRG55awGvTF/vdySRSqfiTaSKTJy9kRvenEePlvV559dDaNGgjt+RRGqFhLhoXr1qECN7NOfBT5bxtykrNBec1Cgq3kQqmXOOZ6au4f/eX8yxnZry5q+OomHdGL9jidQqcdGRPH1Jf8YOTuHpb9ZyzwdLdFJ7qTE0z5tIJXLO8fDk5bw0fT3n9G3J3y/oQ3SkfiOJ+CEywnhkVE8a14vhqW/WsDunkCfGanoeCX/6VhGpJCUljt9/uISXpq/nymPa8s8L+6pwE/GZmXHHiC7cf2Z3Pl+6hWtfn0d+UcDvWCJHRN8sIpUgUOK4891F/Od/G/nNCR34w1ndidDJ5UVCxrhh7Xj0vF58u3o748bPIbew2O9IIodNxZvIESoKlHDLWwt474d0bjulM3eO6KrJd0VC0EWDUnjswj7MWreTK16ZTXZ+kd+RRA6LijeRI1BQHODG//zAxwszuPu0rvz2pE5+RxKRAxjVrzX/Gtuf+RszufTl2WTlqoCT8KPiTeQw5RcF+PUb85iydCsPnNWd647v4HckEamAM3q34NlLB7A8Yw8XvzSLXTmFfkcSOSQq3kQOQ35RgGten8vUVdt5ZFQvrhzazu9IInIITumexAuXD2DNtr1c/KIKOAkvKt5EDlFBcYDr/z2P71bv4NHRvbn4qBS/I4nIYRjepRkvXzGI9TtyuPSl/5GZqwJOwoOKN5FDUFhcwm/enM83K70WtwsH6QTzIuFsWKcmvHD5QNZs28tlL88mK0/HwEnoU/EmUkFFgRJ+O2E+Xy7fyoPn9FCLm0gNcXznpjx3WX9WbNmjUagSFlS8iVRAcaCEW99awOdLt3D/md25fEhbvyOJSCU6sWsST1/cnyWbsrjy1TnsLdA8cBK6VLyJHESgxHHHOwv5ZNFm7jm9K+OGaXCCSE10ao/m/GtsPxakZTLuVU3kK6FLxZvIATjnuPfDJXy4IIM7R3Th2uM0HYhITXZarxY8flFf5m7YxXVvzKOgWKfSktCj4k3kAP46ZSUTZm/khuEd+M0JHf2OIyLV4Kw+LfnL6N58t3oHt761gECJ8zuSyM9E+R1AJFQ9N20tz05dy8VHpXDniC5+xxGRanThoGT25Bfx0OTl1I9bzJ9H99Jp7yRkqHgTKceE2Rv5y2crOLN3C/50Tk99aIvUQr86tj2ZuUU89c0aGtSN5u7TuvkdSQRQ8SbyC5MXbeaeDxYzvEtTHruwL5ERKtxEaqvbT+1MVl4Rz09bR8M6MVw/XMe9iv9UvImUMm3Vdm55az4DUhrx7CUDiInSYaEitZmZ8ceze7Anv4hHP19BgzrRmuNRfKfiTSRoUXomv8DQy7IAACAASURBVH5jHh2bJfDylYOoExPpdyQRCQEREcbfL+hDdn4xv/9wMY3jYxjRo7nfsaQWU7OCCLBxZy7jxs8hsV4Mr101iAZ1ov2OJCIhJDoygqcv7k+f1g357YT5zNuw2+9IUoupeJNab1dOIVe8OpuigOO1cYNpVj/O70giEoLqxETy8hUDadEgjl+9Nod12/f6HUlqKRVvUqvlFQb41Wtz2JSZx8tXDKRjs3i/I4lICGscH8tr4wYTYcYVr85me3aB35GkFlLxJrVWoMRx88T5zE/L5ImL+jKwbaLfkUQkDLRpXI+XrxzE9uwCxo2fQ47OgyrVTMWb1ErOOf748VK+WLaV+8/szmm9WvgdSUTCSN/khjx9cX+WZmRx439+oDhQ4nckqUVUvEmt9NJ363l95gauObYdVw3VieZF5NCd1C2JP53bk29Wbue+SUtxTqfRkuqhqUKk1vnvsq088tlyTu/VXDOmi8gRueSoNqTvzuPZqWvp2Cyeq4fpx6BUPRVvUqsszcji5onz6dWqAf+4oC8ROnuCiByhO0/twvrtOTw0eRntmtTlxK5JfkeSGk7dplJrbNuTzzWvzaV+XDQvXT5Qk/CKSKWIiDAeu6gPPVrW56b/zGfFlj1+R5IazpfizcxGmtlKM1tjZv9Xzv0pZvaNmc03s0VmdrofOaXmyC8KcM0b89idW8RLVwzUXG4iUqnqxkTx0uWDiI+L4urxczWFiFSpai/ezCwSeBo4DegOjDWz7mUWuxd42znXDxgDPFO9KaUmcc5xxzsLWZSeyeNj+tKzVQO/I4lIDdS8QRwvXT6InTkFXPfGXPKLAn5HkhrKj5a3wcAa59w651whMBE4p8wyDqgf/H8DIKMa80kN8/iXq/lk0WZ+N6KrzkcoIlWqV+sGPHZhX37YmMld7y3SCFSpEn4Ub62AtFLX04O3lfYAcKmZpQOfAjeVtyIzu9bM5prZ3O3bt1dFVglzny7ezBNfrea8/q359fHt/Y4jIrXA6b1acOeILkxakMGz09b6HUdqID+Kt/KG95X9aTIWGO+caw2cDrxhZr/I6px7wTk30Dk3sGnTplUQVcLZii17uOOdhfRPacgjo3tippGlIlI9bhjegbP6tORvU1YydeU2v+NIDeNH8ZYOJJe63ppfdoteDbwN4JybCcQBTaolndQImbmFXPv6POJjo3j20gHERmlkqYhUHzPj0fN60bV5fX47YT6pO3L8jiQ1iB/F2xygk5m1M7MYvAEJH5VZZiNwEoCZdcMr3tQvKhUSKHHcNGE+m7PyePbSASRpZKmI+KBuTBQvXDaAiAjj2jfmslfnQJVKUu3Fm3OuGLgRmAIsxxtVutTMHjSzs4OL3Q5cY2YLgQnAlU5HfUoF/W3KSr5bvYMHz+nJgDaN/I4jIrVYcmJdnr64P2u27eWOtxdqAINUCl/OsOCc+xRvIELp2+4v9f9lwNDqziXh7+OFGTw3bS2XHJXC2MEpfscREWFoxybcc3o3Hpq8nKe/WcONJ3byO5KEOZ1hQWqMZRl7+N27ixjYphF/OKuH33FERH509bB2nNu3Jf/47yq+XrHV7zgS5lS8SY2QlVfEr/89j/p1onjm0v7ERGnXFpHQYWb85bze9GhZn5snLmDjzly/I0kY0zechD3nHHe+s5CMzDyeuaQ/zRI0QEFEQk9cdCTPXjKACDOuf3OezsAgh03Fm4S9l75bzxfLtnL36d0Y0CbR7zgiIvuVnFiXxy7sw9KMPfzx42V+x5EwpeJNwtqc1F385fMVnNazOeOGtvU7jojIQZ3ULYkbhndgwuyNvP9Dut9xJAypeJOwtT27gN+8+QMpiXX56/m9dQYFEQkbt53SmaPaJfL7D5awcku233EkzKh4k7AUKHHcPHE+WXlFPHNJfxLiov2OJCJSYVGREfzr4n7Ex0Vx/ZvzNIGvHBIVbxKWnvhyFd+v3clD5/akW4v6fscRETlkzRLi+NfYfqTuyOGu9xZpAl+pMBVvEnamrdrOk1+v4aKByVwwMPngDxARCVFHt2/MnSO6MnnRZt6YtcHvOBImVLxJWNmWnc/tby+gS1ICfzxHE/GKSPi77rj2nNi1GQ9NXs6yjD1+x5EwoOJNwkZJieO2txayt6CYpy7uR1x0pN+RRESOWESE8bfze9OwTjQ3TviB3EId/yYHpuJNwsbz365j+pod/OGsHnRKSvA7johIpWkcH8vjF/Vl/Y4cHvhoqd9xJMSpeJOwMH/jbv7xxUrO6NWCMYN0nJuI1DzHdGzCDcM78PbcdD5amOF3HAlhKt4k5O3JL+KmCfNJqh/HI6N7aT43Eamxbjm5M/1TGvL79xeTtkvnP5XyqXiTkOac4573F7M5K58nx/ajQR3N5yYiNVd0ZARPjOkHBjdNmE9RoMTvSBKCVLxJSHt7bhqfLNrMbad0ZkCbRn7HERGpcsmJdXn0vN4sSMvkH1+s8juOhCAVbxKy1m3fywMfLeOYDo359fEd/I4jIlJtTu/VgrGDU3hu2lq+X7PD7zgSYlS8SUgqCpRw61sLiImK4LEL+xIZoePcRKR2uf/M7rRvWo/b31lIVl6R33EkhKh4k5D01NdrWJiexSOjetG8QZzfcUREql2dmEgev6gv27MLuH/SEr/jSAhR8SYhZ/7G3Tz1zRpG9WvFGb1b+B1HRMQ3vVs35LcndWLSggxNHyI/UvEmISW3sJjb3l5I8/pxOv2ViAhww/AO9EtpyL0fLGZzVp7fcSQEqHiTkPLw5OWk7szhHxf2oX6cpgUREYmKjOCfF/alKOC4452FlJQ4vyOJz1S8Scj4ZsU23vzfRq45tj1Ht2/sdxwRkZDRtkk97juzOzPW7GT896l+xxGfqXiTkLBzbwF3vruIrs0TuP3Uzn7HEREJOWMHJ3NS12b85fMVrNqa7Xcc8ZGKN/Gdc457P1zCnrwiHh/Tl9ioSL8jiYiEHDPjL+f1JiE2ilvfWqCzL9RiKt7Ed58s2sxnS7Zw6ymd6dq8vt9xRERCVtOEWB4e1YulGXt4dupav+OIT1S8ia927PXmL+qT3JBrjm3ndxwRkZA3smdzzurTkn99vZrlm/f4HUd8oOJNfOOc474Pl5BTEODv5/cmKlK7o4hIRfzx7B40qBPNHe8sVPdpLaRvS/HN5MU/dZd2SkrwO46ISNhIrBfDQ+f2ZGnGHp5T92mto+JNfOF1ly5Vd6mIyGEa2bMFZ/VpyZPqPq11VLxJtdvXXbo3v1jdpSIiR0Ddp7WTvjWl2qm7VESkcqj7tHZS8SbVSt2lIiKVa2TPFpzZuwVPfr2aFVvUfVobqHiTavWnT5apu1REpJI9eE5P6sdFc9d7iwno3Kc1nr49pdp8s3IbkxZkcMMJHdRdKiJSiRLrxXD/Wd1ZmJbJ6zNT/Y4jVUzFm1SLnIJi7v1gCR2bxXP98A5+xxERqXHO7tOS4zs35W9TVrIpM8/vOFKFVLxJtfjHF6vYlJnHX0b30rlLRUSqgJnx0Lk9cQ7u+3AJzqn7tKZS8SZVbmFaJuO/X8+lR6cwsG2i33FERGqs5MS63H5qZ75esY1PFm32O45UERVvUqWKAiXc9d4imibE8ruRXf2OIyJS4101tB29Wzfgjx8vJTO30O84UgVUvEmVevG7dazYkv3jSCgREalakRHGX0b3ZnduEY98utzvOFIFVLxJlUndkcMTX65mZI/mjOjR3O84IiK1RveW9bnm2Pa8PTed79fu8DuOVDIVb1IlnHPc88FiYqIi+OM5PfyOIyJS69xycifaNK7LPe8vJr8o4HccqUQq3qRKfLQwg+/X7uR3I7uSVD/O7zgiIrVOXHQkD5/bi9SduTw3TafOqklUvEml25NfxJ8+WU6f1g24eHCK33FERGqtYZ2acFafljwzdS0bdub4HUcqiYo3qXSPfbGKnTkFPHRuLyIjzO84IiK12r1ndCMmMoL7Jy3V3G81hIo3qVRLNmXx+sxULju6Db1aN/A7johIrZdUP47bTunMtFXbmbJ0i99xpBKoeJNKU1LiuPfDJSTWi+H2U7v4HUdERIIuH9KGbi3q88ePl5FTUOx3HDlCKt6k0rw1N40FaZncc3o3GtTRnG4iIqEiKjKCh87tweasfJ78arXfceQIqXiTSrFzbwF/+WwFg9slMqpfK7/jiIhIGQPaJHLRwGRenr6elVuy/Y4jR0DFm1SKRz9fQU5BMQ+d2xMzDVIQEQlFd53Wlfi4KO6bpBPXhzMVb3LE5m3Yxdtz07n62HZ0TkrwO46IiOxHYr0Y/m9kV2av38X7P2zyO44cJhVvckQCJY77Jy2lRYM4fntiJ7/jiIjIQVw4MJl+KQ3582cryM4v8juOHAYVb3JE3pmbxtKMPdx9ejfqxUb5HUdERA4iIsJ44Kwe7NhbwFNfr/E7jhwGFW9y2LLyivjblJUMatuIs3q38DuOiIhUUJ/khpw/oDWvzFjPuu17/Y4jh0jFmxy2J79aza7cQv5wVg8NUhARCTO/G9mF2KhIHpq83O8ocohUvMlhWbMtm9e+T2XMoGR6ttKZFEREwk2zhDhuOrEjX6/Yxjcrt/kdRw6Bijc5ZM45HvxkOXViIrlDZ1IQEQlbVw1tR7sm9fjTx8soLC7xO45UkIo3OWRfLd/Gt6u2c8vJnWkcH+t3HBEROUwxURHcd2Y31u3I4fWZqX7HkQpS8SaHpKA4wJ8mL6Njs3guH9LG7zgiInKETuyaxPAuTXniy9Vszy7wO45UgIo3OSSvzkhlw85c7j+zO9GR2n1ERGqC+87sTl5RgL9PWel3FKkAfftKhW3LzudfX63m5G5JHNe5qd9xRESkknRoGs9VQ9vy9rw0Fqdn+R1HDkLFm1TYP/+7msJACfee0c3vKCIiUsluOqkTiXVjePjTZTrvaYhT8SYVsnJLNm/N2chlR7elbZN6fscREZFKVj8umltO7sSsdbv4crmmDgllKt6kQv782XLiY6O46cSOfkcREZEqMmZwCu2b1uPPny2nKKCpQ0KVijc5qO9Wb2fqyu3cdGInGtWL8TuOiIhUkejICO4+rRvrtucwYfZGv+PIfqh4kwMKlDgenryc5MQ6XH6MpgYREanpTu7WjKPbJ/L4l6vZk1/kdxwph4o3OaD3fkhnxZZs7hrZldioSL/jiIhIFTMzfn96d3blFPLs1LV+x5FyqHiT/cotLObvU1bSL6UhZ/Rq4XccERGpJr1aN2B0v1a8PH096btz/Y4jZah4k/168dv1bMsu4N4zumFmfscREZFqdPuILhho4t4QpOJNyrVtTz7Pf7uW03s1Z0CbRL/jiIhINWvVsA5XD2vHhwsyWJiW6XccKUXFm5Trsf+uoihQwl0ju/odRUREfHL98A40rhfDw58u18S9IUTFm/zCmm17eXtuGpce3YY2jTUhr4hIbZUQnLh39vpdTF213e84EqTiTX7hH1+spE50JDeeoAl5RURqu4sGpZCSWJe/fr6SkhK1voUCFW/yMwvTMvlsyRauOa49jeNj/Y4jIiI+i4mK4PZTO7N88x4+XpThdxzBp+LNzEaa2UozW2Nm/7efZS40s2VmttTM/lPdGWurv05ZQWK9GH51bHu/o4iISIg4q3dLujZP4B9frKKwWKfN8lu1F29mFgk8DZwGdAfGmln3Mst0Au4GhjrnegC3VHfO2mj66h3MWLOTG0/oSHxslN9xREQkREREGHeN7MrGXbm8NTfN7zi1nh8tb4OBNc65dc65QmAicE6ZZa4BnnbO7QZwzm2r5oy1jnOORz9fQauGdbjk6BS/44iISIgZ3qUpg9sl8uRXq8ktLPY7Tq3mR/HWCihdtqcHbyutM9DZzGaY2SwzG1neiszsWjOba2Zzt2/XKJgj8dmSLSzelMWtp3TWabBEROQXzIy7RnZhe3YBr85I9TtOreZH8VbeVP1lh69EAZ2A4cBY4CUza/iLBzn3gnNuoHNuYNOmTSs9aG1RHCjh71NW0qlZPKP6la2jRUREPAPaJHJytySem7aWzNxCv+PUWn4Ub+lAcqnrrYGyw1fSgUnOuSLn3HpgJV4xJ1Xg3XnprNuRw50juhAZodNgiYjI/t05ogt7C4p5dppOWu8XP4q3OUAnM2tnZjHAGOCjMst8CJwAYGZN8LpR11VryloivyjA41+upl9KQ07pnuR3HBERCXFdmicwql8rxs9IZUtWvt9xaqVqL96cc8XAjcAUYDnwtnNuqZk9aGZnBxebAuw0s2XAN8Cdzrmd1Z21Nvj3rA1s2ZPP70Z01cnnRUSkQm49uTMlzvHk16v9jlIr+TIfhHPuU+DTMrfdX+r/DrgteJEqkltYzLNT1zKsYxOGdGjsdxwREQkTyYl1GTMohYlzNnL98R1ITqzrd6RaRWdYqMVen7mBnTmF3HqKDicUEZFDc8MJHTAznv5mjd9Rah0Vb7XU3oJinp+2luM7N2VAm0S/44iISJhp0aAOFw9O4Z156WzYmeN3nFpFxVst9dr3qezOLeLWUzr7HUVERMLUDcM7EBVh/Otrtb5VJxVvtdCe/CJe+HYdJ3VtRt/kX0yfJyIiUiHN6sdx2dFteP+HdNbvUOtbdVHxVgu9Oj2VrDy1uomIyJG77vgOxEZF8uRXGnlaXVS81TJZuUW8NH0dp3ZPomerBn7HERGRMNc0IZbLj2nDpAWbWLMt2+84tYKKt1rm5enryM4v5paT1eomIiKV47rjOhAXHckTX+nYt+qg4q0W2Z1TyCszUjm9V3O6t6zvdxwREakhEuvFcOUxbflkUQYrt6j1raqpeKtFXvxuHTmFxdx8klrdRESkcl1zbHvqxUTxxFer/I5S46l4qyV25RQy/vtUzujVgi7NE/yOIyIiNUyjejGMG9qWTxdvYfnmPX7HqdFUvNUSr85YT25hgJtP0tkURESkaowb1o742CiddaGKqXirBfbkFzH++1RO69mcTklqdRMRkarRsG4Mlw1pw+TFm1m7fa/fcWqsQy7ezCzWzNqZWXcza1oVoaRyvTFzA9n5xfzmhI5+RxERkRru6mHtiI2K4Jlv1vodpcaqUPFmZglmdr2ZfQtkAWuAJcAWM0szsxfNbFBVBpXDk1tYzEvfrePErs00r5uIiFS5JvGxXDy4DR8u2ETarly/49RIBy3ezOxWIBUYB/wXOAfoC3QGhgB/AKKA/5rZ52amg6pCyH/+t5HduUVqdRMRkWpz7XHtiTTj2WlqfasKURVY5hjgeOfckv3cPxt4xcx+DVwNHA/oHBkhIL8owPPfrmNox8YMaNPI7zgiIlJLNG8QxwUDW/PO3HRuOrEjLRrU8TtSjXLQljfn3AUHKNxKL1fgnHvGOfdS5USTI/XO3DS2Zxdw4wlqDBURker16+M7EHCOF75d53eUGqeix7xdU9VBpHIVFpfw3LR1DGzTiKPbJ/odR0REapnkxLqM6teKCbM3sj27wO84NUpFR5s+YWYPHmgBM4uuhDxSST6cv4lNmXnceGJHzMzvOCIiUgvdMLwDBcUlvDx9vd9RapSKFm+nAjeY2Xgz+9lxcmYWZ2a3AGoXDRHFgRKembqGXq0acHxnzeYiIiL+aN80njN7t+SNmalk5hb6HafGqFDx5pybDgwFjgU+C04dEm9md+GNRP0d8M8qSymHZPLizaTuzFWrm4iI+O7GEzqSUxjglRmpfkepMSo8Sa9zbiXe1CCNgHl4RdtvgIeAds65x6oioBwa5xzPfLOWzknxnNItye84IiJSy3VpnsCp3ZN47ftUcgqK/Y5TI1S4eDOzROC3QEegOVAHOMs595RzTkcihoipq7azcms21x3XgYgItbqJiIj/fj28A1l5Rbw1J83vKDVCRUeb/g3YAFwA3Aw0Bd4EvjKzY6ounhyq56etpUWDOM7q09LvKCIiIgD0T2nE4LaJvDx9PUWBEr/jhL2KtryNBK4BujrnXgvO6XYt8C+8MyuMrrKEUmEL0jKZtW4XVw9rR0zUIZ+2VkREpMpcd3x7NmXmMXnRZr+jhL2KDljo5Zyb6JxzZW7/I15X6n/M7LdVEVAq7vlpa6kfF8WYwSl+RxEREfmZE7o0o3NSPM9NW0uZckIO0RE3zzjnXgZG4w1cEJ+s35HD50u3cNmQNsTHVuSsZyIiItUnIsK49rgOrNiSzberd/gdJ6xV5MT07Q62jHPuU+BE8yRXSjI5JC9+t47oyAiuPOagm0tERMQXZ/dpSfP6cTw3VSesPxIVaXmbaWYvm9mQ/S1gZo2AQcAy4JzKCicVsz27gHfnpXP+gNY0TYj1O46IiEi5YqIiuHpYO2au28nCtEy/44StihRvXYFdwGQz225mn5vZq2b2rJlNNLNFwDbgUuAW59xTVRlYfmn8997onWuObe93FBERkQMaMziZhLgonbD+CBy0eHPOZTrn7gRaAdcDK4CGQDugGHgN6OecG+qcm1KVYeWX9hYU88bMDYzs0Zx2Ter5HUdEROSAEuKiufToNny2ZDOpO3L8jhOWKnRku5klOOeygXeDFwkRE2dvZE9+Mdcd38HvKCIiIhVy1dC2vPzdel6avo6Hzu3ld5ywU9HRpplmtsLM3jSz28zseDNLqNJkclBFgRJenr6eo9sn0je5od9xREREKqRZQhznDWjFO3PT2bFXJ2k6VBUt3i4GPgJaAPcBXwO7yxZ0VRVSyjd50WY2Z+Vz3XFqdRMRkfDyq2PbUxgo4fWZG/yOEnYqOknvW8653znnTgQSAQPuByYBzYB78Ao6qSbOOV6evp4OTetxfOemfscRERE5JB2axnNil2a8OWsD+UUBv+OElUOepLfUWRY+cc7d5Zw7xTnXBG8Ag1STOam7Wbwpi3HD2ukE9CIiEpauHtaOnTmFfLQgw+8oYaXSToDpnNtYWeuSg3tl+noa1o1mdL/WfkcRERE5LEM6NKZr8wRembFep8w6BDp7eRhK25XLF8u2cPHgFOrERPodR0RE5LCYGeOGtWPFlmy+X7vT7zhho0LFm5m9YWY3m9kxZlY3eLNKZJ+M/z6VCDMuH9LW7ygiIiJH5Ow+LWkSH8PL09f7HSVsVLTlrRXwB2A6kBW87WEzu93MhptZ/SpJJ7+QnV/EW3PSOKN3C5o3iPM7joiIyBGJi47kkqPa8PWKbazbvtfvOGGhoqNNT3TOJQId8aYN+StQB7ibn6YNWVVlKeVH78xNZ29BMVcP0/gQERGpGS49ug0xkRG8OiPV7yhhoUJnWNjHObcOWAe8s+82M2sLDAT6V2Yw+aVAiePV79czsE0jerfWpLwiIlIzNE2I5Zy+LXl3Xjp3nNqFBnWj/Y4U0o54wIJzLtU5965z7p7KCCT79+XyraTtylOrm4iI1DhXDW1HXlGACXM0ecXBaLRpGHl5+npaNazDKd2T/I4iIiJSqbq3rM8xHRrz2vepFAVK/I4T0lS8hYklm7KYvX4XVw1tS1SkNpuIiNQ844a2Y3NWPp8v2eJ3lJCmKiBMvDJ9PfViIrlwULLfUURERKrEiV2b0a5JPU0bchAq3sLAjr0FfLJoM+cPaE39OB3EKSIiNVNEhHHlMW1ZkJbJwrRMv+OELBVvYeCtOWkUBkq4TJPyiohIDTe6fyvqxUTy+swNfkcJWSreQlxxoIQ3Z21gaMfGdGwW73ccERGRKpUQF82o/q34eFEGu3IK/Y4TklS8hbgvl28jIyufy45u63cUERGRanH5kLYUFpfw9tw0v6OEJBVvIe6NWam0bBDHyd2a+R1FRESkWnROSuCodon8e9YGAiU6lXpZKt5C2Jpte5mxZicXH5Wi6UFERKRWuXxIW9J35zF15Ta/o4QcVQQh7N+zNhAdaVw0KMXvKCIiItXq1B5JJNWP1cCFcqh4C1E5BcW8Ny+d03u1oGlCrN9xREREqlV0ZARjB6cwbdV2Unfk+B0npKh4C1EfzN9EdkExlw9p43cUERERX1w8OIWoCOPfs9T6VpqKtxDknOONmRvo0bI+/VMa+R1HRETEF83qxzGiZ3PenptGXmHA7zghQ8VbCJq9fhcrt2Zz+ZA2mJnfcURERHxz+dFt2JNfzEcLN/kdJWSoeAtBr8/aQIM60Zzdp5XfUURERHw1uF0iXZISeH3mBpzTtCGg4i3kbNuTz5QlW7hgQGvqxET6HUdERMRXZsZlQ9qwNGMPP2zU+U5BxVvImTA7jeISx6VHa6CCiIgIwKh+rUiIjdLAhSAVbyEkUOJ4a85Gju3UhLZN6vkdR0REJCTUi43i3H6tmLx4M5m5Ot+pircQ8u3q7WRk5TNGk/KKiIj8zJjByRQWl/DBfA1cUPEWQib8byON68VwSvckv6OIiIiElB4tG9CndQMmzN5Y6wcuqHgLEdv25PPVim2cP6A1MVHaLCIiImWNGZzCqq17a/3ABVUJIeKdeekEShwXDUr2O4qIiEhIOqtPS+rFRDJh9ka/o/hKxVsIKClxTJyzkaPbJ9K+abzfcUREREJSfGwUZ/dtySeLMtiTX+R3HN+oeAsBM9buIG1XHmMHa6CCiIjIgYwdnEJ+UQmTavHABRVvIWDi7DQa1Y1mRI/mfkcREREJab1aNaBHy/r8Z3ZarR24oOLNZzv2FvDFsi2M7t+auGidUUFERORAzIwxg1NYvnkPi9Kz/I7jCxVvPntvXjpFAcfYwRqoICIiUhHn9G1JnehIJs6pnQMXVLz5yDnHxDlpDGrbiI7NEvyOIyIiEhbqx0VzZu8WTFqQwd6CYr/jVDsVbz6atW4X63fkaKCCiIjIIRp7VAq5hQE+Xpjhd5Rqp+LNRxNmb6R+XBSn92rhdxQREZGw0i+5IV2SEmrlnG8q3nySmVvI50s0UEFERORwmBljByezKD2LpRm1a+CCL8WbmY00s5VmtsbM/u8Ay51vZs7MBlZnvurw0cIMCgMlXDCwtd9RREREwtK5/VoRExnBu/PSx3E4ZgAAGptJREFU/Y5Sraq9eDOzSOBp4DSgOzDWzLqXs1wC8Fvgf9WbsHq8Oy+d7i3q06NlA7+jiIiIhKWGdWM4pXsSkxZkUFhc4necauNHy9tgYI1zbp1zrhCYCJxTznJ/Av4K5FdnuOqwcks2i9KzOH+AWt1ERESOxPkDWrMrp5BvVm7zO0q18aN4awWklbqeHrztR2bWD0h2zn1yoBWZ2bVmNtfM5m7fvr3yk1aR935IJyrCOKdvS7+jiIiIhLVjOzWhaUJsreo69aN4s3Ju+/H8FmYWAfwTuP1gK3LOveCcG+icG9i0adNKjFh1igMlvP/DJk7s2ozG8bF+xxEREQlrUZERjO7Xim9WbGPH3gK/41QLP4q3dKD06QRaA6UnaUkAegJTzSwVOBr4qKYMWvh29XZ27P3/9u40tq7zvvP473+5ivsqLqI2UxIpSrKoxYktJ7aa2I4tI1bQBkUCBJ0OgsmrzKDtYDAZtGgHGfRFGxQFCqRLBlN0ZoA2k+ZFrDRyE8mxbCGSXWtfKFKrJZGiuImbxPXe+8yLSyqyRElX4r3n3HPu9wMEFsmrc//hA1I/PMv/mWbJFACAFPmtbU2Kxp1+kiWX1fsR3j6WtNbMVptZvqSvSdoz/0Xn3KhzrsY5t8o5t0rSh5Lecs4d8aHWlPvx0W5VF+frN1qX+l0KAAChsK6uVJubyvXjo91ZcVm95+HNOReV9G1JP5d0TtKPnHNnzey7ZvaW1/V4afjOjPZ39Gt3+zLl5dBiDwCAVPnqtiZ13hzX2RtjfpeSdr4kCOfcXufcOudcs3PuT+c+98fOuT0LvHZnWGbdfnoq0duNJVMAAFLry5sbs6bnG9M/Hprv7dbWWOZ3KQAAhMqve771hL7nG+HNI/R2AwAgvb66rUnDE7P6ZWe4e74R3jxCbzcAANIrW3q+Ed48QG83AADS727Pt65+DYyHt+cb4c0D9HYDAMAbv7WtSbG409snwtvzjfDmAXq7AQDgjXt7voUV4S3NxqZmtf9cv768uZHebgAAeOA3tyZ6vnXeDGfPN9JEmv3rmZuaicY5qAAAgEfefLZBORHT2yduPP7FAUR4S7M9J25oRVWR2pdX+F0KAABZoaakQJ9bU6M9J24oHg/fdVmEtzTqH5vSoUuD2t3eKDPzuxwAALLG7vZG9YxM6ui1Yb9LSTnCWxr99FSv4k4smQIA4LHXNtSrMC8SylOnhLc02nOiRxsay7RmaanfpQAAkFVKCnL1yvo6/exUr2Zj4boui/CWJlcG7+hk96i+0r7M71IAAMhKX2lfpuGJWR28MOB3KSlFeEuTt0/0yEz68maWTAEA8MNL62pVUZQXulOnhLc0cM7p7RM39PzqatWXF/pdDgAAWSk/N6Jdmxr0i7N9ujMd9buclCG8pcHpnlFdGbzDQQUAAHy2e3OjJmdj2n+uz+9SUobwlgY/OX5D+TkRvbGxwe9SAADIas+tqlJjeaF+cjw8p04JbykWizv99NQN7WypVXlRnt/lAACQ1SIR05fbG/XBhUEN3Z72u5yUILyl2OFLQxoYn9ZXtnDKFACATPCV9mWKxZ32nu71u5SUILyl2NsnelRSkKsvtC71uxQAACCptb5U6+pKQnPqlPCWQlOzMf3rmZt6fWO9CvNy/C4HAABIMjPtbl+mI1eHdf3WhN/lLBrhLYUOdPVrfDrKKVMAADLMW3N9V/ecDP7sG+Ethf7lVK+qi/P1wjPVfpcCAADusbyqSFtWVIRi3xvhLUWmZmP6ZWe/vrSxXrk5fFsBAMg0b25q0NkbY7o6dMfvUhaFlJEiB7r6NTET05ub6O0GAEAmen1jvSTpZwGffSO8pcjPTt9UVXG+Pru6yu9SAADAApoqi7R5efCXTglvKTA1G9O75/r0pQ11LJkCAJDB3txUrzM9Y7o2FNxTpySNFDjQNaCJmZh2sWQKAEBGm7+6cu+Z4M6+Ed5S4J0zvaosyuOUKQAAGW55VZE2N5UHeumU8LZIiSXTfn1pA6dMAQAIgjc2NehU92hgG/aSNhbpg/MDuj0dZckUAICAmO8MEdTZN8LbIu093auKojy90MySKQAAQbC8qkiblpVr75mbfpfyVAhvizA1G9P+c/16ra1OeSyZAgAQGLs2Nejk9RF1Dwdv6ZTEsQgHLwyyZAoAQADt2pRo2PvO6eDNvhHeFmHv6V6VL8nTi2tq/C4FAAA8gZXVxdrQWBbI2xYIb09pOhrT/o4+lkwBAAioXZsadOL6iHpGJv0u5YmQOp7SwfODGp+OatezLJkCABBE86dO3wnY7Bvh7SntPdOrssJcvdjMkikAAEG0qqZYbQ1lgWsZQnh7CjPRuPZ19OnVtnrl5/ItBAAgqN58tkHHro2odzQ4S6ckj6fw0ZUhjU9F9frGer9LAQAAi/ClDXWSpP0dfT5XkjzC21PY19GnwryIPscpUwAAAq25tkSra4r1C8JbeDnntL+jT59fW6sl+Tl+lwMAABbBzPRqW50+vDyksalZv8tJCuHtCZ29MaYbo1N6ta3O71IAAEAKvNpWp9mY0/tdA36XkhTC2xP6RUefIiZ9sXWp36UAAIAU2LqiUtXF+doXkKVTwtsT2tfRp20rK1VdUuB3KQAAIAVyIqYvtC7Ve139mo3F/S7nsQhvT+D6rQmd6x1jyRQAgJB5ta1O41NRfXT5lt+lPBbh7QnsP5eYTn21jRYhAACEyefX1qowL6J9HZl/UT3h7Qns6+jTmqWJI8UAACA8luTn6HNrarWvo0/OOb/LeSTCW5JGJ2b10ZVbLJkCABBSr7XV6cbolM7eGPO7lEcivCXpva5+xeKO8AYAQEh9Yf1SmSnjT50S3pK0r6NPtaUFam+q8LsUAACQBjUlBdq2opLwFgbT0ZgOdPXrlfVLFYmY3+UAAIA0ebWtTh29Y+oenvC7lIcivCXh8KUh3ZmJsWQKAEDIzf9bn8kX1RPekrCvo09F+Tna0cxF9AAAhNkztSVqri3WvnOEt8CKx532n+vTS2trVZjHRfQAAITdq231+ujyLY1OZuZF9YS3xzjdM6q+sWm9toElUwAAssFrG+oUjTsd6Or3u5QFEd4eY19H3907zwAAQPi1N1WotrRAv8jQfW+Et8d4r6tf21ZUqqIo3+9SAACAByIR0xdaluqD8wOKZuBF9YS3R+gfT3RZfrml1u9SAACAh15uqdX4VFTHr4/4XcoDCG+P8H7XgCRpJ+ENAICs8uKaGuVELCP3vRHeHuHA+QEtLS1QW0OZ36UAAAAPlS/J07YVlTowN5GTSQhvDxGNxXXw/IBeXlcrM25VAAAg27zcUquzN8bUPz7ldymfQnh7iJPdIxqbimpnC6dMAQDIRvPbpt7PsNk3wttDHOgaUE7E9Lm13KoAAEA2amsoU21pgQ6cJ7wFwoGuAW1ZXqHyJXl+lwIAAHxgZnp5Xa0OZljLEMLbAgbGp3W6Z5RTpgAAZLmdLbUam4rqZHfmtAwhvC3gg/PzLULY7wYAQDb7/JpaRUwZdeqU8LaAA+cHVFNCixAAALJdeVGetmZYyxDC231icaeDFxItQiIRWoQAAJDtdrbU6nTPqAbGp/0uRRLh7QEnu0c0MjHLfjcAACDp19uoPsiQU6eEt/sc6BpQxKTP0yIEAAAo0TKkpiRzWoYQ3u7zfle/2pdXqKIo3+9SAABABohETC+tq9HBCwOKxZ3f5RDe7jV0e1qnekY5ZQoAAD5lZ8tSjUzMZkTLEMLbPQ5eGJRzYr8bAAD4lJfW1mRMyxBfwpuZvW5mXWZ20cy+s8DX/8DMOszslJm9a2YrvajrQFe/akrytbGx3Iu3AwAAAVFRlK/25RV6v6vf71K8D29mliPp+5LekNQm6etm1nbfy45L2u6ce1bSjyX9ebrrisedPrgwqJfW0iIEAAA8aGfLUp3qGdXQbX9bhvgx8/YZSRedc5edczOSfihp970vcM6955ybmPvwQ0lN6S7qdM+obt2Z0cssmQIAgAXsbKmVc9IHF/xdOvUjvC2TdP2ej7vnPvcw35T0zkJfMLNvmdkRMzsyMLC4b+SvLg1Kkl5cQ4sQAADwoI2N5SpfkqdDF4d8rcOP8LbQmuSC527N7BuStkv63kJfd879wDm33Tm3vbZ2cTNmhy8NqbW+VDUlBYt6DgAACKdIxPTCM9U6dGlIzvnXMsSP8NYtafk9HzdJunH/i8zsFUl/KOkt51xaF5enozF9/MktvdBcnc63AQAAAbdjTbV6RiZ1/dakbzX4Ed4+lrTWzFabWb6kr0nac+8LzGyLpL9TIril/VjHiWsjmpqNa0czS6YAAODhdsxN9Bya227lB8/Dm3MuKunbkn4u6ZykHznnzprZd83srbmXfU9SiaR/NrMTZrbnIY9LiUOXhhQx6TOrq9L5NgAAIOCaa0tUW1qgQ5f82/eW68ebOuf2Stp73+f++J4/v+JlPYcvDWnTssQmRAAAgIcxM+1ortavLib2vZl5314s629YmJiJ6vj1Yb3AkikAAEjCjuZqDd6e1sX+2768f9aHtyOfDGs25u6uYQMAADzK/B55v5ZOsz68Hbo0pLwc0/ZVlX6XAgAAAmB5VZGaKpf4dmgh68Pb4UuD2rK8UkX5vmz/AwAAAbSjuVofXr6lWNz7fm9ZHd5GJ2d1umeU/m4AAOCJ7Giu0ejkrM71jnn+3lkd3v7tyi3FndjvBgAAnsgLPvZ7y+rwdujSoArzImpfUeF3KQAAIEDqygrVXFvsy6GFrA5vhy8N6blVVSrIzfG7FAAAEDA7mmv0b1duaTYW9/R9sza8Dd6eVufNcfa7AQCAp7KjuVoTMzGd6h7x9H2zNrx9eDkxzfnCM4Q3AADw5J6fyxCHLnq7dJq14e3QpSGVFORq07Jyv0sBAAABVFmcr7aGMs/3vWVteDt8aUifXV2l3Jys/RYAAIBF2tFcraPXhjU1G/PsPbMyudwYmdSVwTvsdwMAAIuyY021ZqJxHbs67Nl7ZmV4Ozw3vbmDy+gBAMAiPLeqSjkR83TpNCvD268uDaqyKE+t9aV+lwIAAAKstDBPzzaVe9qsNyvD20eXb+n5Z6oViZjfpQAAgIDb0Vytk92jmpiJevJ+WRfeekcn1TMyqedWVfldCgAACIHtq6oUizudvD7qyftlXXg7djXRSG/bykqfKwEAAGGwdXkiUxy75s2hhawLb0evDqswL6K2xjK/SwEAACFQXpSntUtLdNSjE6fZF96uDevZpgrl0d8NAACkyLaVlTp2bVjxuEv7e2VVgpmajelszyhLpgAAIKW2rqzUyMSsLg/eSft7ZVV4O9U9qmjcadsKwhsAAEidrXPZwotmvVkV3ubXorcy8wYAAFLomZpiVRTlebLvLevC2zM1xaoqzve7FAAAECKRiGnrikod9eDEadaEN+ecjl8b1haWTAEAQBpsW1mpi/23NTIxk9b3yZrwdnVoQkN3ZjisAAAA0mJ+39vxayNpfZ+sCW/za9CENwAAkA6bl5crJ2Jp3/eWPeHt2rBKC3K1dmmJ36UAAIAQKsrPVVtDGeEtVY5dHdaWlZVcRg8AANJm28pKneweUTQWT9t7ZEV4G5uaVVffOP3dAABAWm1dWamJmZg6b46n7T2yIryduDYi59jvBgAA0ms+a6TzkvqsCG9Hrw4rYomNhAAAAOnSWF6ourKCtO57y4rwduzasFrqy1RamOd3KQAAIMTMTNtWVhLeFiMWdzpxbUTbVlb4XQoAAMgCW1dUqnt4Un1jU2l5fujD24X+cY1PR9nvBgAAPHF331uaZt9CH97uNuddUeVzJQAAIBtsaCxXfm4kbUunWRHeakoKtLxqid+lAACALJCfG9HmpvK0XVIf+vB27Oqwtq2skBnNeQEAgDe2rqzUmZ5RTc3GUv7sUIe3wdvT+mRogv1uAADAU9tWVGo25nSmZzTlzw51eDvGZfQAAMAHW+eyRzr2vYU6vJ3sHlFuxLShkea8AADAOzUlBVpRVaQT10dS/uxQh7fO3nE115aoMC/H71IAAECWWd9Qqq403HEa7vB2c1ytDaV+lwEAALJQa32Zrgzd0eRMag8thDa8jU3NqmdkUi31hDcAAOC91vpSOZe4MCCVQhve5qcp19eX+VwJAADIRq0NiQzS2Ut4S0rnXHhj5g0AAPhhRVWRCvMidzNJqoQ3vPWOqawwVw3lhX6XAgAAslBOxNRSV6rOm2MpfW5ow1vXzXG11pdxswIAAPBNS33qT5yGMrw559R1c5wlUwAA4KvW+jIN3ZnRwPh0yp4ZyvDWMzKp8ekobUIAAICvWucmklK5dBrK8DZ/qqOVmTcAAOCj+VXAVC6dhjK8dfUlvkHr6ghvAADAP9UlBaotLdC5FLYLCWV467w5rqbKJSotzPO7FAAAkOVa60vV1cey6SN19o6plea8AAAgA7TWl+p8321FY/GUPC904W06GtPlwTvsdwMAABmhtb5MM9G4PhmaSMnzQhfeLvbfVizuOGkKAAAyQkuKT5yGLrzNn+Zg5g0AAGSCNUtLlBOxlJ04DV1467w5rvzciFZVF/tdCgAAgArzcrS6pjhlJ05DGd7WLi1Rbk7o/q8BAICAaknhidPQJZzO3jGuxQIAABllfX2prt+a1O3p6KKfFarwduvOjPrHp7WeNiEAACCDtMxlk1TsewtVeJs/xcHMGwAAyCStKbwmK1Th7e5JU9qEAACADNJUuUQlBbkpaRcSqvDW2TuuquJ81ZYU+F0KAADAXWamlvpSdTLz9mmdfeNqqSuVmfldCgAAwKe01Jeqs3dMzrlFPSdU4e38zXGWTAEAQEZaX1+qsamobo5NLeo5oQlvM9G4Jmdj3KwAAAAy0vyJ085FNusNTXibmo1JSlz+CgAAkGl+fccp4U2SNDkbk5m0ro6ZNwAAkHnKl+Spsbxw0SdOQxPepmbjWlVdrCX5OX6XAgAAsKDWhrJF93oLT3iLxtTCrBsAAMhgLfWluth/e1HPCE14m4nGOWkKAAAyWmt9qaJxWoVIkgrzcrShsdzvMgAAAB6qraFMzbXFi3qGLbZRXKbYvn27O3LkiN9lAAAAPJaZHXXObX+av+vLzJuZvW5mXWZ20cy+s8DXC8zs/819/SMzW+V9lQAAAJnH8/BmZjmSvi/pDUltkr5uZm33veybkoadc2sk/aWkP/O2SgAAgMzkx8zbZyRddM5dds7NSPqhpN33vWa3pP899+cfS/qicWEpAACAcn14z2WSrt/zcbekzz7sNc65qJmNSqqWNHjvi8zsW5K+NffhtJmdSUvF8EKN7htfBAZjF2yMX3AxdsHW8rR/0Y/wttAM2v2nJpJ5jZxzP5D0A0kysyNPu/EP/mP8gouxCzbGL7gYu2Azs6c+ZenHsmm3pOX3fNwk6cbDXmNmuZLKJd3ypDoAAIAM5kd4+1jSWjNbbWb5kr4mac99r9kj6d/N/fmrkn7pwtLTBAAAYBE8Xzad28P2bUk/l5Qj6e+dc2fN7LuSjjjn9kj6X5L+r5ldVGLG7WtJPPoHaSsaXmD8gouxCzbGL7gYu2B76vELTZNeAACAbBCa67EAAACyAeENAAAgQAIX3rhaK7iSGLs/MLMOMztlZu+a2Uo/6sTCHjd+97zuq2bmzIwWBhkkmfEzs9+e+xk8a2b/6HWNWFgSvztXmNl7ZnZ87vfnLj/qxIPM7O/NrP9hfWgt4a/mxvaUmW1N5rmBCm9crRVcSY7dcUnbnXPPKnGzxp97WyUeJsnxk5mVSvpPkj7ytkI8SjLjZ2ZrJf03SS865zZI+j3PC8UDkvzZ+yNJP3LObVHigN9fe1slHuEfJL3+iK+/IWnt3P++JelvknlooMKbuForyB47ds6595xzE3MffqhED0BkhmR+9iTpfygRuqe8LA6Plcz4/QdJ33fODUuSc67f4xqxsGTGzkkqm/tzuR7snQqfOOc+0KP71O6W9H9cwoeSKsys4XHPDVp4W+hqrWUPe41zLipp/mot+CuZsbvXNyW9k9aK8CQeO35mtkXScufcv3hZGJKSzM/fOknrzOxXZvahmT1qtgDeSWbs/rukb5hZt6S9kv6jN6UhBZ7030ZJ/lyPtRgpu1oLnkt6XMzsG5K2S3o5rRXhSTxy/MwsosQ2hd/1qiA8kWR+/nKVWLrZqcSs90Ez2+icG0lzbXi0ZMbu65L+wTn3F2b2ghJ9Ujc65+LpLw+L9FSZJWgzb1ytFVzJjJ3M7BVJfyjpLefctEe14fEeN36lkjZKOmBmn0h6XtIeDi1kjGR/d77tnJt1zl2R1KVEmIO/khm7b0r6kSQ55w5LKlTi0npkvqT+bbxf0MIbV2sF12PHbm7Z7e+UCG7st8ksjxw/59yoc67GObfKObdKiT2LbznnnvriZaRUMr87fyLpNyTJzGqUWEa97GmVWEgyY3dN0hclyczWKxHeBjytEk9rj6TfmTt1+rykUedc7+P+UqCWTdN4tRbSLMmx+56kEkn/PHfG5Jpz7i3fisZdSY4fMlSS4/dzSa+ZWYekmKT/4pwb8q9qSEmP3X+W9D/N7PeVWHL7XSYtMoOZ/ZMSWxFq5vYk/omkPElyzv2tEnsUd0m6KGlC0r9P6rmMLwAAQHAEbdkUAAAgqxHeAAAAAoTwBgAAECCENwAAgAAhvAEAAAQI4Q0AACBACG8AAAABQngDgPuYWY2ZOTP7fTP72MymzOy8mb3md20AQHgDgAdtmfvvtyV9R9Kzkk5J+kczW+JbVQAgwhsALKRdiSuidjnn3nXOnZf0XyVVS2r1tTIAWY/wBgAPapf0U+dc1z2fm/GrGAC4F+ENAB7ULun4fZ97TtKUpK4HXw4A3iG8AcA9zKxQUose/P34e5J+6Jyb8L4qAPi1XL8LAIAMs2nuv183s3cl9Uv6I0lrJP22b1UBwBxm3gDg09olXZD0J5L+SYnl01JJzznnbvpZGABIkjnn/K4BADKGmX1fUq1zjlk2ABmJmTcA+LR2JXq6AUBGIrwBwBwzMyX2vBHeAGQslk0BAAAChJk3AACAACG8AQAABAjhDQAAIEAIbwAAAAFCeAMAAAgQwhsAAECAEN4AAAAC5P8DXUgtKpMduBAAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 720x576 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "import matplotlib.pyplot as plt\n",
    "import numpy as np\n",
    "from scipy import stats\n",
    "\n",
    "fig=plt.figure(figsize=(10,8))\n",
    "H_ber=lambda X: -np.sum(X*np.log2(X),axis=1) # Function to estimate the entropy of a bernoulli distribution\n",
    "p=np.linspace(1e-3,1-1e-3,100)\n",
    "probs_X=np.vstack([p,1-p]).T\n",
    "plt.plot(p,H_ber(probs_X))\n",
    "plt.xlabel(\"$p$\",fontsize =14)\n",
    "plt.ylabel(\"$H(X)$\",fontsize =14)\n",
    "plt.ylim([0,1.05])\n",
    "plt.xlim([0,1])\n",
    "plt.title('Entropía de las distirbuciones de la familia Bernoulli',fontsize =14)\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía Conjunta</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Sean $X$ y $Y$   variables aleatorias discretas que tienen una función de probabilidad conjunta\n",
    "\n",
    "\n",
    "$$\n",
    "p_{ij}=p(x_i,y_j) = p\\{X=x_i,Y=y_j \\}; i=1\\ldots,M; j=1,\\ldots,L.\n",
    "$$\n",
    "\n",
    "Es natural definir la entropía conjunta de $ X $ y $ Y $ como\n",
    "\n",
    "$$\n",
    "H(X,Y) = - \\sum_{i=1}^M \\sum_{j=1}^L p(x_i,y_j) \\log p(x_i,y_j).\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Se puede verificar que\n",
    "\n",
    "$$\n",
    "H(X,Y) \\le H(X) + H(Y),\n",
    "$$\n",
    "\n",
    "*la igualdad se tiene si y solo si  $X$ y $Y$ son independientes*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía Condicional</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Supongamos que $ X $ y $ Y $ sean variables aleatorias discretas con distribución conjunta $ p (x_i, y_j) $. Si se sabe que $ X = x_i $, la distribución de $ Y $ se caracteriza por el conjunto de probabilidades condicionales $ p (y_j | x_i) $. Por lo tanto definimos la entropía condicional de $ Y $ dado $ X = x_i $ como\n",
    "\n",
    "$$\n",
    "H(Y|X=x_i) = -\\sum_{j=1}^L p(y_j|x_i) \\log p(y_j|x_i).\n",
    "$$\n",
    "\n",
    "La entropía condicional de $ Y $ dado $ X $ es el promedio ponderado promedio de $ H (Y | X = x_i) $, es decir\n",
    "\n",
    "\n",
    "\n",
    "$$\n",
    "H(Y|X) = - \\sum_{i=1}^M \\sum_{j=1}^L p(x_i,y_j) \\log p(y_j|x_i).\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Se puede verificar que\n",
    "\n",
    "$$\n",
    "H(X,Y) = H(X) + H(Y|X) = H(Y) + H(X|Y).\n",
    "$$\n",
    "\n",
    "y\n",
    "\n",
    "$$\n",
    "H(Y|X) \\le H(Y,X),\n",
    "$$\n",
    "\n",
    "*La igualdad se tiene si y solo si $X$ y $Y$ son independientes*."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Información mutua</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Suponga que $ X $ y $ Y $ son variables aleatorias discretas con funciones de masa de probabilidad dadas por $ f_X $ y $ f_Y $ respectivamente, y una función de masa de probabilidad conjunta $ f $. Así, la información mutua de $ X $ y $ Y $, denotada $ \\mathfrak {M} (X, y) $ se define como\n",
    "\n",
    "$$\n",
    "\\mathfrak{M}(X,Y) = \\mathbb{E}_f \\ln \\frac{f(X,Y)}{f_X(X)f_Y(Y)} = \\sum_i \\sum_j  f(x_i,y_j)[\\ln f(x_i,y_j) - \\ln f_X(x_i)f_Y(y_j)].\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Notas"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "1. La dependencia mutua es una medida de dependencia entre las variables $ X $ y $ Y $. Tenga en cuenta que si $ X $ y $ Y $ son independientes, su información mutua es cero.\n",
    "2. Si $ X $ y $ Y $ tienen exactamente la misma distribución, entonces $\\mathfrak{M}(X,Y) = H(X)$. "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">La divergencia Kullback-Leibler</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "La divergencia de Kullback-Leibler (KL) es una pseudo-distancia que representa la diferencia entre dos distribuciones. Debido a su definición, también se conoce como entropía relativa, porque es el valor esperado de un contenido de información de la relación entre dos distribuciones. Se define la divergencia KL como:\n",
    "\n",
    "$$\n",
    "KL(P||Q)=\\mathbb{E}_{P}\\left(\\log{\\frac{P(X)}{Q(X)}}\\right)\n",
    "$$\n",
    "\n",
    "* Caso discreto:\n",
    "\n",
    "$$\n",
    "KL(P||Q)=\\sum_{i}p(x_i)\\log{\\frac{p(x_i)}{q(x_i)}} = \\sum_{i}p(x_i)[\\log p(x_i)- \\log q(x_i)].\n",
    "$$\n",
    "\n",
    "\n",
    "$\\Omega$ es el soporte de las distribuciones \n",
    "\n",
    "Observe que si  $P=Q$, entonces $KL(P||Q)=0.$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía cruzada</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Suponga que  $f$ y $g$ son dos funciones de de probabilidad (o masa de probabilidad). La entropía cruzada entre $f$ y $g$ se define como\n",
    "\n",
    "\n",
    "$$\n",
    "\\mathfrak{D}(f,g) =  -\\sum_{i} f(x_i) \\ln g(x_i).\n",
    "$$\n",
    "\n",
    "Se puede comprobar que\n",
    "\n",
    "$$\n",
    " KL(f||g) = H(f) + \\mathfrak{D}(f,g).\n",
    "$$\n",
    "\n",
    "\n",
    "Llamamos $ f $ como la distribución de referencia y $ g $ como la distribución aproximada.\n",
    "\n",
    "- $\\leadsto$ Tenga en cuenta que la divergencia KL y la entropía cruzada difieren en $ H (f) $, la entropía de la distribución de referencia. Por otro lado, $ H (f) $ que es constante con respecto a $ g $. Por esta razón, algunos autores llaman KL-divergencia como entropía cruzada."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía cruzada como función de pérdida</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En el aprendizaje automático, es común utilizar la entropía cruzada como criterio para evaluar la convergencia de un proceso de aprendizaje (comúnmente un proceso de optimización).\n",
    "\n",
    "Supongamos que en un problema de clasificación tenemos *T* clases. Ahora suponga que cada uno de los objetos de entrenamiento $ x_i $ pertenece a una clase única, digamos $ C_{it} $. Por lo tanto, una forma común de representar la clase del vector $ x_i $ es mediante el uso de un vector *T*, que tiene todos los elementos iguales a cero, excepto la posición *ti*, que tiene 1. \n",
    "\n",
    "\n",
    "En estadística, esta codificación se denomina **codificación dummy**. En el lenguaje de aprendizaje automático se llama **hot one encoding**.\n",
    "\n",
    "\n",
    "La cuestión clave es que esta codificación representa una distribución del vector de entrenamiento de entrada. Esta es la distribución de referencia para la entrada.\n",
    "\n",
    "Por otro lado, en cada época (iteración) del entrenamiento de la máquina, la salida es una distribución de propuesta $ s_i $ del vector de entrada. Esta es la distribución aproximada del vector de entrada. Por lo tanto, la entropía cruzada en este caso viene dada por\n",
    "\n",
    "\n",
    "$$\n",
    "\\mathfrak{D}_i = -\\sum_{t=1}^{T} C_{it}\\log s_{it}\n",
    "$$\n",
    "\n",
    "Si tenemos $ N $ vectores de entrenamiento, la codificación dummy completa es una matriz $ N $ $ \\times $ $ T $, digamos $ L $, donde cada celda $ it $ se define como $ l_ {it} = 1 $ es la entrada de entrenamiento $ x_ {i} $ pertenece a la clase $t$, y $ 0 $ de lo contrario.\n",
    "\n",
    "La función de pérdida de entropía cruzada se debe minimizar en el proceso de entrenamiento es dada\n",
    "\n",
    "$$\n",
    "L(X,L) = -\\sum_{i=1}^N\\sum_{t=1}^T l_{it} \\log s_{it}.\n",
    "$$\n",
    "\n",
    "$\\leadsto$ Por ejemplo en una red neuronal, $s_i =(s_{i1}, \\ldots, s_{iT})$ es la capa de salida, y es producida por la función **softmax**."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía diferencial</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La entropía de Shanon es definida para variables aleatorias discretas. Para el caso continuo hay algunas diferencias y las propiedades de la entropía de Shanon, no se mantienen siempre."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Definición de entropía diferencial</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para una variable aleatoria $X$ con densidad de probabilidad $f(x)$ de soporte $S$, se\n",
    "define la entropía diferencial como:\n",
    "\n",
    "$$\n",
    "H(f) = -\\int_{S} f(x)\\log f(x)dx.\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": []
   },
   "source": [
    "### <span style=\"color:#4CC9F0\">Ejemplos</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Distribución Uniforme $U(0,a)$</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "En este caso  la función de densidad es dada por $f(x) = \\tfrac{1}{a}$. En consecuencia la entropía diferencial es \n",
    "\n",
    "$$\n",
    "H(U) = -\\int_0^a \\frac{1}{a} \\log \\frac{1}{a} dx = \\log a.\n",
    "$$\n",
    "\n",
    "Observe que en este caso $H(U)$ es negativa para valores $0<a<1$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Distribución Normal $N(0,\\sigma^2)$</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En este caso se tiene que\n",
    "\n",
    "$$\n",
    "f(x) = \\frac{1}{2\\pi\\sigma^2} e^{-\\tfrac{x^2}{2\\sigma^2}}, \n",
    "$$\n",
    "y en este caso se llega a que\n",
    "\n",
    "$$\n",
    "H(N) = \\frac{1}{2}\\log(2\\pi e \\sigma^2).\n",
    "$$\n",
    "\n",
    "Le dejamos como ejercicio verificar esta última ecuación. Observe que en este caso la entropía es una función monótona creciente de $\\sigma^2$. ¿Puede dar una explicación intuitiva a este hecho?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### <span style=\"color:#4CC9F0\">Extensión de las deficiones de entropia de Shanon</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "De acuerdo con la definición de entropía diferencial, los conceptos de entropía de Shanon se extienden de manera natural como sigue. Supongamos que tenemos dos variables aleatorias $X$ y $Y$ con densidades de probabilidad dadas por $f_1(x)$ y $f_2(y)$ respectivamente y densidad conjunta $f(x,y)$. Tenemos las siguientes definiciones. Suprimimos el soporte $S$ en la integral, para simplificar la notación."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Entropía diferencial conjunta</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "H(X,Y) = - \\int f(x,y)\\log f(x,y) dxdy\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Entropía diferencial condicional</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "H(X|Y) = - \\int f(x|y)\\log f(x|y) dxdy\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Entropía diferencial cruzada</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "\\mathfrak{D}(f,g) = - \\int f(x)\\log g(y) dxdy\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Información mutua</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "\\mathfrak{m} = \\int f(x,y) \\log\\frac{f(x,y)}{f_1(x)f_2(y)}dxdy\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### <span style=\"color:#4CC9F0\">Distancia de Kullback-Leibler</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "$$\n",
    "KL = \\int f(x) [log f(x) - g(x)]dx \n",
    "$$\n",
    "\n",
    "Además se tiene que \n",
    "\n",
    "$$\n",
    "KL(f||g) = -H(f) + \\mathfrak{D}(f,g)\n",
    "$$\n",
    "\n",
    "Observe que $KL(f||f)$ = 0."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Máxima verosimilitud y función de pérdida</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Suponga que cada uno de los vectores de entrenamiento de entrada tiene una función de densidad de probabilidad dada por  $ f (x_i, w), i = 1, \\ldots, N $, donde $ w $ es el parámetro a aprender. También suponga que los $ x_i $ son independientes.\n",
    "\n",
    "En la estimación de máxima verosimilitud $ l(w | x) = - \\sum_i \\log f(x_i; w) $ es la función de pérdida que debe minimizarse. \n",
    "\n",
    "$$\n",
    "L(x|w) = -\\frac{1}{N} \\sum_i^N \\log f(x_i|w).\n",
    "$$\n",
    "\n",
    "Por ejemplo la función de pérdida  `torch.nn.GaussianNLLLoss` en `Pytorch` es la función de pérdida basada en el supuesto que cada observación es de tipo Gaussiano. Técnicamente tal función de pérdida se define por\n",
    "\n",
    "\n",
    "$$\n",
    "L(x|w) = \\frac{1}{N} \\left[\\frac{1}{2} (\\log(\\max(\\sigma^2, \\epsilon))+  \\frac{(net(x_i) -y_i)^2}{\\max(\\sigma^2, \\epsilon)} + cte\\right]\n",
    "$$\n",
    "\n",
    "En este caso, $net(x_i)$ es la predicción de la red neuronal y $y_i$ la variable target correspondiente. Adicionalmente $\\epsilon>0$ se introduce para evitar problemas convergencia con valores muy pequeños de $\\sigma^2$.\n",
    "\n",
    "El siguiente fragmento de código muestra cómo usar esta función de pérdida."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import torch\n",
    "from torch import nn\n",
    "\n",
    "loss = nn.GaussianNLLLoss()\n",
    "input = torch.randn(5, 2, requires_grad=True)\n",
    "target = torch.randn(5, 2)\n",
    "var = torch.ones(5, 2, requires_grad=True) #heteroscedastic\n",
    "output = loss(input, target, var)\n",
    "output.backward()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Un ejemplo simple de aplicación con redes neuronales </span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "El siguiente código muestra la implementación de un red neuronal simple de dos capas que se usará para el entrenamiento de un clasificador dicotómico. Revise la función de pérdida definida. en este ejemplo simple, el número de datos de entrenamiento es muy pequeño y fijo, por lo que no es necesario el factor $1/N$. Observe que la función de pérdida es exactamente menos la log verosimilitud de un modelo de Bernoulli."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "# define the output activation\n",
    "import numpy as np\n",
    "\n",
    "def sigmoid(x):\n",
    "    return 1.0/(1+np.exp(-x))\n",
    "\n",
    "# define the net\n",
    "def net(params, x):\n",
    "    w1, b1, w2, b2 = params\n",
    "    hidden = np.tanh(np.dot(w1,x) + b1)\n",
    "    return (sigmoid(np.dot(w2,hidden) + b2))\n",
    "\n",
    "# cross entropy loss function\n",
    "def loss(params, x,y):\n",
    "    out = net(params,x)\n",
    "    cross_entropy =  -y * np.log(out) - (1-y)*np.log(1-out) # this is -log likelihood\n",
    "    return cross_entropy"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* [Ir al inicio](#Contenido)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}