Matematicas-Estadistica/Cuadernos/Prob_Var_Prob_conjunta.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<figure>\n",
    "<img src=\"../Imagenes/logo-final-ap.png\"  width=\"80\" height=\"80\" align=\"left\"/> \n",
    "</figure>\n",
    "\n",
    "# <span style=\"color:blue\"><left>Aprendizaje Profundo</left></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# <span style=\"color:red\"><center>Probabilidad Conjunta y Entropía Cruzada</center></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##   <span style=\"color:blue\">Autores</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "1. Alvaro Mauricio Montenegro Díaz, ammontenegrod@unal.edu.co\n",
    "2. Daniel Mauricio Montenegro Reyes, dextronomo@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "##   <span style=\"color:blue\">Asesora Medios y Marketing digital</span>\n",
    " "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "4. Maria del Pilar Montenegro, pmontenegro88@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Asistentes</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "5. Oleg Jarma, ojarmam@unal.edu.co \n",
    "6. Laura Lizarazo, ljlizarazore@unal.edu.co "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Contenido</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* [Introducción](#Introducción)\n",
    "* [El ejemplo de la moneda cargada](#El-ejemplo-de-la-moneda-cargada)\n",
    "* [Función de probabilidad conjunta](#Función-de-probabilidad-conjunta)\n",
    "* [Distribución marginal](#Distribución-marginal)\n",
    "* [Correlación](#Correlación)\n",
    "* [Información mutua](#Información-mutua)\n",
    "* [Entropía cruzada](#Entropía-cruzada)\n",
    "* [Entropía cruzada en aprendizaje de máquinas](#Entropía-cruzada-en-aprendizaje-de-máquinas)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Introducción</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En esta lección se introducen los concepto de función de probabilidad conjunta. Se introducen los conceptos de correlación,  información mutua y entropía cruzada."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">El ejemplo de la moneda cargada</span> "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Usaremos el ejemplo de la Variable Bernoulli de la [lección de variables aleatorias](Prob_Variables_Aleatorias.ipynb). En realidad el ejemplo puede reescribirse usando como experimento el lanzamiento de una moneda cargada. Suponemos dos posibles resultados cara $(g=1)$ y sello $g=0$. Suponemos además que $\\text{Prob}[g=1]= 0.6$ y por tanto $\\text{Prob}[g=0]= 0.4$. El experimento consiste en lanzar tres veces la moneda cargada y anotar el resultado: cara (1) o sello (0).\n",
    "\n",
    "Ahora definimos dos variables aleatorias. La primera  que llamaremos $X$, corresponde a contar el número de caras que salen. De acuerdo con los resultados de la [lección de variables aleatorias](Prob_Variables_Aleatorias.ipynb), la función de probabilidad de $X$, denotada $p_X$ es dada por extensión de  la siguiente forma:\n",
    "\n",
    "|Valor |Experimentos| probabilidad cada experimento| probabilidad para este valor de $X$| total|\n",
    "|---|---|---| ---|---|\n",
    "|0| 000| $0.4\\times 0.4 \\times 0.4$|0.064|0.064|\n",
    "|1| 100| $0.6\\times 0.4 \\times 0.4$|0.096||\n",
    "|1| 010| $0.4 \\times 0.6\\times 0.4$|0.096||\n",
    "|1| 001| $0.4 \\times 0.4\\times 0.6$|0.096|0.288|\n",
    "|2| 110| $0.6\\times 0.6 \\times 0.4$|0.144||\n",
    "|2| 011| $0.4 \\times 0.6\\times 0.6$|0.144||\n",
    "|2| 101| $0.6 \\times 0.4 \\times 0.6$|0.144|0.432|\n",
    "|3| 111| $0.6 \\times 0.6\\times 0.6$|0.216|0.216 |\n",
    "\n",
    "Recuerde que obtuvimos que $\\mathbb{E}[X]=1.8$.  Además se tiene que $\\text{Var}[X]=0.72$ y $\\sigma_X = 0.849$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ejercicio"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Por favor verifique que si $X\\sim \\text{Binom}(N,\\pi)$, entonces \n",
    "\n",
    "1. $\\mathbb{E}[X]=N\\pi$ \n",
    "2. $\\text{Var}[X]=N\\pi(1-\\pi)$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "La segunda variable que llamaremos $Y$ se defien como sigue:\n",
    "\n",
    "$$\n",
    "Y = \\begin{cases}  0, &\\text{ si no sale ninguna cara}, \\\\\n",
    "1, &\\text{ si salen una o dos caras},\\\\\n",
    "-1, &\\text{ si salen tres caras}.\n",
    "\\end{cases}\n",
    "$$\n",
    "\n",
    "a función de probabilidad de  Y , denotada  $p_Y$  es dada por extensión de la siguiente forma:\n",
    "\n",
    "|Valor |Experimentos| probabilidad cada experimento| probabilidad para este valor de $Y$| total|\n",
    "|---|---|---| ---|---|\n",
    "|0| 000| $0.4\\times 0.4 \\times 0.4$|0.064|0.064|\n",
    "|1| 100| $0.6\\times 0.4 \\times 0.4$|0.096||\n",
    "|1| 010| $0.4 \\times 0.6\\times 0.4$|0.096||\n",
    "|1| 001| $0.4 \\times 0.4\\times 0.6$|0.096||\n",
    "|1| 110| $0.6\\times 0.6 \\times 0.4$|0.144||\n",
    "|1| 011| $0.4 \\times 0.6\\times 0.6$|0.144||\n",
    "|1| 101| $0.6 \\times 0.4 \\times 0.6$|0.144|0.720|\n",
    "|-1| 111| $0.6 \\times 0.6\\times 0.6$|0.216|0.216 |\n",
    "\n",
    "Recuerde que \n",
    "\n",
    "$$\n",
    "\\begin{align}\n",
    "\\mathbb{E}[Y] &= 0\\times 0.064 +  1\\times 0.72 +(-1)\\times 0.216 = 0.504\\\\\n",
    "\\text{Var}[Y] &=  (0-0.504)^2\\times 0.064 + (1-0.504)^2\\times 0.720 + (-1-0.504)^2\\times 0.216 = 0.682\\\\\n",
    "\\sigma_Y &= 0.826\n",
    "\\end{align}\n",
    "$$\n",
    "\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Función de probabilidad conjunta</span> "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Abordemos el problema de determinar como está relacionadas (asociadas) estas dos variables. Para empezar observe la siguiente tabla que muestra como coocurren los valores de las dos variables aleatorias\n",
    "\n",
    "\n",
    "|X/Y|0|1|-1|\n",
    "|---|---|---|---|\n",
    "|0|000|---------|---|\n",
    "|1|---|100 010 001|---|\n",
    "|2|---|101 110 011|---|\n",
    "|3|---|---------|111|\n",
    "\n",
    "La celdas vacias indican parejas de valores $(x,y)$ que no pueden ocurrir. La función de probabilidad conjunta de la variables $X$ y $Y$ se define como la función de dos variables dada por \n",
    "\n",
    "$$\n",
    "p_{XY}(x,y) = \\text{Prob}(X=x, Y=y).\n",
    "$$\n",
    "\n",
    "En nuestro ejemplo, la función de probabilidad conjunta es definida por extensión de la siguiente forma\n",
    "\n",
    "|X/Y|0|1|-1|$P_X$|\n",
    "|---|---|---|---|---|\n",
    "|0|0.064|0.000|0.000|0.064|\n",
    "|1|0.000|0.288|0.000|0.288|\n",
    "|2|0.000|0.432|0.000|0.432|\n",
    "|3|0.000|0.000| 0.216|0.216|\n",
    "|$P_Y$|0.064|0.720| 0.216|1.000|\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Distribución marginal</span> "
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Observe que en la última fila de la tabla se recupera la función de probabilidad de $Y$. De la misma forma, en la última columna  se recupera la función de probabilidad de $X$. En este contexto de funciones de probabilidad conjunta, las funciones $P_X$ y $P_Y$ se llaman funciones de probabilidad marginales. En este caso, cada valor corresponde a la suma de la fila o columna correspondiente. La celda inferior derecha muestra la suma total de probabilidades, que claro debe ser 1.0."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Correlación</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "El concepto de correlación está completamente asociado a la funcion de distribución conjunta de dos variables aleatorias. Esencialmente, la correlación mide como covarían las dos variables aleatorias. Supongamos que $X$ y $Y$ son variables aleatorias definidas sobre el mismo espacio muestral como en el ejemplo anterior.\n",
    "\n",
    "Además supongamos que la media y la desviación estándar de cada variable se denotan como $\\mu_X$, $\\sigma_X$ y $\\mu_Y$ y $\\sigma_Y$ respectivamente. Entonces se tiene que la correlación entre las dos variables aleatorias es dada por\n",
    "\n",
    "$$\n",
    "Cor(X,Y) = \\mathbb{E}\\left[\\frac{(X-\\mu_X)}{\\sigma_X}\\frac{(Y-\\mu_Y)}{\\sigma_Y} \\right]= \\frac{\\mathbb{E}(XY) - \\mathbb{E}(X)\\mathbb{E}(Y)}{\\sigma_X \\sigma_Y}.\n",
    "$$\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ejemplo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Vamos a calcular la correlación de las variables del ejemplo anterior. Usaremos la segunda ecuación. La igualdad puede ser verificada sin mucha dificutad.\n",
    "\n",
    "La única cantidad que no tenemos aún es $\\mathbb{E}(XY)$, la cual puede calcularse como sigue:\n",
    "\n",
    "\n",
    "\n",
    "$$\n",
    "\\mathbb{E}(XY) = \\sum_i \\sum_j x_iy_j P_{XY}(x_i,y_j)\n",
    "$$\n",
    "\n",
    "En nuestro ejemplo tenemos que \n",
    "\n",
    "$$\n",
    "\\mathbb{E}(XY) =  1 \\times 1 \\times P_{XY}(1,1) + 2 \\times 1 \\times P_{XY}(2,1) + 3\\times (-1)\\times P_{XY}(3,-1) = 0.504\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En consecuencia se tiene que\n",
    "\n",
    "$$\n",
    "Cor(X,Y) = \\frac{0.504 - 1.8\\times 0.504}{0.849\\times 0.826} = -0.575\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Información mutua</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "\n",
    "Este concepto es el análogo a la correlación, pero en este caso desde la\n",
    "teoría de la información de Shanon.\n",
    "\n",
    "Para dos distribuciones (variables aleatorias $X$ y $Y$) discretas conjuntamente distribuidas,\n",
    "la información conjunta se define por\n",
    "\n",
    "$$\n",
    "\\mathfrak{m}(X,Y)=\\sum_{y\\in Y}\\sum_{x\\in X}P_{XY}(x,y) \\log \\left(\\frac {P_{XY}(x,y)}{P_X(x)P_{Y}(y)}\\right) = \\mathbb{E}_{XY}[\\log P_{XY} - \\log P_X\\log P_Y]\n",
    "$$\n",
    "\n",
    "Observe que si las variables aleatorias son independientes, entonces $\\mathfrak{m}(X,Y)=0$, porque $\\log P_{XY} = \\log P_X\\log P_Y$.\n",
    "\n",
    "Por otro lado, Si $X=Y$, se tiene que $\\mathfrak{m}(X,X) =  H(X)$, es decir, la entropía de $X$.\n",
    "\n",
    "La información mutua se puede calcular siempre, teniendo en cuenta el convenio $0 \\log 0 = 0$.\n",
    "\n",
    "Recordemos la tabla de probabilidad conjunta del ejemplo:\n",
    "\n",
    "|X/Y|0|1|-1|$P_X$|\n",
    "|---|---|---|---|---|\n",
    "|0|0.064|0.000|0.000|0.064|\n",
    "|1|0.000|0.288|0.000|0.288|\n",
    "|2|0.000|0.432|0.000|0.432|\n",
    "|3|0.000|0.000| 0.216|0.216|\n",
    "|$P_Y$|0.064|0.720| 0.216|1.000|\n",
    "\n",
    "\n",
    "Entonces en  este caso tenemos que\n",
    "\n",
    "$$\\mathfrak{m}(X,Y) = 0.064 \\log\\tfrac{0.064}{0.064\\times 0.064} +0.288 \\log \\tfrac{ 0.288}{0.288\\times 0.724} +0.432\\log\\tfrac{0.432}{0.432\\times 0.72} + 0.216 \\log \\tfrac{0.216}{0.216*0.216} = 0.5032.\n",
    "$$\n",
    "\n",
    "La información mutua siempre es positiva e indica la cantidad de información que las dos variables cargan conjuntamente, la una de la otra.\n",
    "\n",
    "La siguiente línea ilustra el cálculo usando Numpy."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.5032013743418469"
      ]
     },
     "execution_count": 26,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import numpy as np\n",
    "(0.064)*np.log(0.064/(0.064*.064)) +(0.288)*np.log(0.288/(0.288*0.724)) \\\n",
    "+(0.432)*np.log(0.432/(0.432*0.72) + 0.216*np.log(0.216/(0.216*0.216)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía cruzada</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "En teoría de la información, la entropía cruzada entre dos distribuciones de probabilidad  $P$ y $Q$ sobre el mismo espacio muestral mide el número promedio de bits (o nats) necesarios para identificar una distribución con la otra. \n",
    "\n",
    "En la práctica, si se considera la distribución $P$ como la distribución verdadera y a $Q$ como una distribución aproximante, entonces la entropía cruzada se define mediante\n",
    "\n",
    "\n",
    "$$\n",
    "H(P,Q) = - E_P[ \\log Q]  = - (p_1\\log q_1 + p_2\\log q_2+ \\cdots + p_n\\log q_n)\n",
    "$$\n",
    "\n",
    "\n",
    "**Interpretación**\n",
    "\n",
    "Para la interpretación, esta es una medida de que tanto difiere $Q$ de $P$, medido en bits o nats. Entonces entre menor es este valor, mejor es la aproximación."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Ejemplo"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para ilustrar el concepto, calculemos la entropía cruzada entre las distribuciones binomiales $ P=Bin(3, 0.3)$, $Q_1=Bin(3, 0.4)$ y $Q_2=Bin(3,0.7)$.\n",
    "\n",
    "Vamos considerar a la distribución $P$ como la verdadera y a $Q_1$ y $Q_2$ como aproximantes. Usted debe sospechar que $Q_1$ es mejor aproximante que $Q_2$.\n",
    "\n",
    "Veámos."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[0.343 0.441 0.189 0.027]\n",
      "[0.216 0.432 0.288 0.064]\n",
      "[0.027 0.189 0.441 0.343]\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "from scipy.stats import binom\n",
    "import matplotlib.pyplot as plt\n",
    "\n",
    "N, p, q1, q2  = 3, 0.3, 0.4, 0.7\n",
    "\n",
    "P = [binom.pmf(k,N,p) for k in range(N+1)]\n",
    "Q1 = [binom.pmf(k,N,q1) for k in range(N+1)]\n",
    "Q2 = [binom.pmf(k,N,q2) for k in range(N+1)]\n",
    "\n",
    "print(np.round(P,3))\n",
    "print(np.round(Q1,3))\n",
    "print(np.round(Q2,3))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "H(P,Q1)=  1.205269726734411\n",
      "H(P,Q2)=  2.157224596768416\n"
     ]
    }
   ],
   "source": [
    "H_P_Q1 = -np.sum(P*np.log(Q1))\n",
    "H_P_Q2 = -np.sum(P*np.log(Q2))\n",
    "\n",
    "print('H(P,Q1)= ', H_P_Q1 )\n",
    "print('H(P,Q2)= ', H_P_Q2 )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Finalmente un gráfico de las ttes distribuciones.\n",
    "\n",
    "Discuta los resultados en la clase."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAA1gAAAEYCAYAAABBWFftAAAAOXRFWHRTb2Z0d2FyZQBNYXRwbG90bGliIHZlcnNpb24zLjMuNCwgaHR0cHM6Ly9tYXRwbG90bGliLm9yZy8QVMy6AAAACXBIWXMAAAsTAAALEwEAmpwYAAAYiUlEQVR4nO3df7Cld10f8PfHDeGqCFR3h2CyZANkSjMMWmeJTm21VWkTKhOsHUlIQQWGyVhQq7ZGi04t2hZLmY4OmImQUjFthgq10cZGa6XKqCWLRSRgmDVmyRJZNiI/oixJ6Kd/nLN42L2799zd771n97mv18zJnHOe733O57k397Pf9/c8z7nV3QEAAODsfcGqCwAAAJgKAQsAAGAQAQsAAGAQAQsAAGAQAQsAAGAQAQsAAGAQAWuHqaqbqupHBu3rKVX1UFXtmj9+R1W9bMS+T3idh6rqqSc89wVV9d+q6iWjXw8AAM6UgDUhVXVfVX26qj5VVR+vqt+uqhuq6nM/5+6+obtfveS+vul0Y7r7Q939uO7+7Ij6T/M6j+vue094+ieS/Hp333Km+134fj1UVUeq6j9U1ePOrlrYmSzeANtJz+FcJmBNz/O6+0uSXJrk3yT5wSRvGv0iVXXB6H1uRnf/UHf/1IBdPa+7H5fkq5I8O8mrBuwTJsXizeZV1XdU1R9U1V9U1Ueq6g1V9YSF7c+sqjur6sGq6rN5LZgaPWfzlug5315V766qT1bV4ar6yVXP5aZMwJqo7v5Ed9+e5AVJvr2qnpkkVfXmqvrx+f3dVfXL8+b1sar6rflKyluSPCXJL81XW/5ZVe2rqq6ql1bVh5L8r4XnFn9Bn1ZV76qqT8xXZL50/lp/u6oOL9a42PSqaldV/XBV/dG8ob67qvbOt3VVPX1+/wlV9XNVdbSqDlXVq4433HlzeWdVvbaq/qyq/riqrl7y+/XhJL+S5Jln+j2HibN4s6Sq+v4kr0nyT5M8IcnXJNmX5Fer6jHzYY8keWuSl57Na8GE6TlLWrLnfFGS702yO8lXJ/nGJD9wNq/LqQlYE9fd70pyOMnfWmfz98+37UnypCQ/PPuSflGSD2X+7k53/+TC13x9kr+W5O+d4iVfnOQlSb48yaNJlm0a35fkuiTPTfL4+T7+Yp1xP51Z83jqvJYXJ/nOhe1fneSezBrITyZ5U1XVRi8+D3PPTfJ/l6wXdiSLN6dfvKmqxyf5sSSv7O7/0d2PdPd9Sb4tyWVJXjj/Pt7T3W9KcvdZ/1BgwvScYT3nZ7r7t7r74fmi8q1JvvZsfz6sT8DaGR5I8qXrPP9IkicnuXT+C/lb3b3RqSr/orv/vLs/fYrtb+nu93X3nyf5kSTfVvNzmjfwsiSvmk86urt/v7v/dHHAfD8vSPJD3f2peQP5d0letDDsUHf/7Pxt/v84P74nneZ1f7GqPp7knUn+d5J/tUStsONZvDnl4s3fSLKW5O2LT3b3Q5m9S/53l6wbWKDnDO85XxcLPFtGwNoZLk7ysXWe/7dJDmb2FvK9VXXjEvu6fxPbDyV5TGbNYSN7k/zRBmN2J7lwvt/F17h44fFHjt/p7uMN7XQfXPH87n5id1/a3d91muAInMzizcl2J3mwux9dZ9ufZDYBBM6MnnOyTfecqvrOJPuTvHaJ4+EMCFgTV1XPziyAvPPEbfNf6u/v7qcmeV6S76uqbzy++RS73Khh7V24/5TMmt6DSf48s/N/j9e1K5//S39/kqdtsO8H5/u79ITX+PAGXwdsDYs3J3swye5TXNfx5CRHNyoYOCU952Sb6jlV9fzMrmm7ursf3KBOzpCANVFV9fiq+uYktyX5+e7+g3XGfHNVPX3+lvMnk3x2fkuSI5m9bb1Z/6iqrqiqL0ryL5P8wnz15YNJ1qrq79fsgstXJXnswte9Mcmrq+rymnlWVX3Z4o7n+3lrkp+oqi+pqkszeyv+58+gTuAsWLw5pd9J8pkk/2Dxyar64iRXZ3YqMrBJes4pLd1zquqqJD+b2SmTJ80LGUfAmp5fqqpPZfYL/s+TvC6ff07vosuT/M8kD2X2C/qG7n7HfNu/TvKq+QWjm/mUmbckeXNmKy9rSb47mV2kmuS7MgtSH86sQS1eJPq6zMLTr2YW9t6U5AvX2f8r5197b2ZN9j8lOauPNgWWZ/Hm9Oa97seS/HRVXVVVj6mqfUn+S2aTqluTZF7LWmar2Kmqtap67Cl2CzuWnnN6m+g53zC//63z69nYSt3t5ubm5uZ2yluS+5J8OsmnknwiswWZf5xk18KYNyf58fn9fzL/muMLKT+yMO6azC46/3hmHxG8L7OV5AsWxnzec0nekdmiz7symzz9UpLdC+O/I7NrDT463+d9Sb5pvm1XZhOgP57Xf1eSS+bbOsnT5/f/SmaTm6OZLVD9aJIvWNj/O0/4nnzua0/xPXtpkvclOTYf+44kX77OMS7e7lv1z9rN7Vy46Tlb0nN+I7MP63ho4fYrq/5ZT/VW8286ALAFquolma0wf213f2jV9QDTpuesnoAFAFusql6U5JHuvm3VtQDTp+esloAFAAAwiA+5AAAAGGS9z8zfFrt37+59+/at6uWBbfLud7/7we5e+R9X1XNg+vQbYDudquesLGDt27cvBw4cWNXLA9ukqg5tPGrr6TkwffoNsJ1O1XOcIggAADCIgAUAADCIgAUAADCIgAUAADCIgAUAADCIgAUAADCIgAUAADCIgAUAADCIgAUAADCIgAUAADCIgHUO2bf3WKoy2du+vcdW/S0G5o5dtG/1TWGLb8cu2rfqbzOwQ+y7aNpzuKrZMbKcC1ZdAH/p0OG19K216jK2TF3fqy4BmFs7ciiVaf9O9pHp9lPg3HLoyFo60+45dWTa/2aM5B0sAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQsAACAQQQs4JxSVVdV1T1VdbCqbjzNuGdX1Wer6h9uZ30AAKcjYAHnjKraleT1Sa5OckWS66rqilOMe02SO7e3QgCA0xOwgHPJlUkOdve93f1wktuSXLPOuFcmeVuSj25ncQAAGxGwgHPJxUnuX3h8eP7c51TVxUm+JclNG+2sql5eVQeq6sDRo0eHFgoAsJ6lApZrIoBtUus81yc8/vdJfrC7P7vRzrr75u7e39379+zZM6I+YGLMcYDRLthowMI1Ec/JbDX5rqq6vbvfv84410QAZ+Nwkr0Ljy9J8sAJY/Ynua2qkmR3kudW1aPd/YvbUiEwGeY4wFZY5h0s10QA2+WuJJdX1WVVdWGSa5Pcvjiguy/r7n3dvS/JLyT5LuEKOEPmOMBwywSsYddEuB4COJ3ufjTJKzJbJf5Akrd2991VdUNV3bDa6oAJMscBhtvwFMFs8pqI+Wk76+rum5PcnCT79+8/cR8A6e47ktxxwnPrTmy6+zu2oyZgssxxgOGWCViuiQAApsgcBxhumYD1uWsiknw4s2siXrg4oLsvO36/qt6c5Jc1HgDgHGeOAwy3YcDq7ker6vg1EbuS3HL8moj59g3/Fg0AwLnGHAfYCsu8g+WaCABgksxxgNGW+kPDAAAAbEzAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGETAAgAAGOSCVRewrH17j+XQ4bVVlwEAADvOY3MsVdOei1/6pGO57yNnf4znTcA6dHgtfWutuowtVdf3qksAAICTfCZr6Ux8Ln5kzFzcKYIAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFgAAACDCFjAOaWqrqqqe6rqYFXduM72a6rqvVX1nqo6UFV/cxV1AgCs54JVFwBwXFXtSvL6JM9JcjjJXVV1e3e/f2HYrye5vbu7qp6V5K1JnrH91QIAnMw7WMC55MokB7v73u5+OMltSa5ZHNDdD3V3zx9+cZIOAMA5YqmA5ZQdYJtcnOT+hceH5899nqr6lqr6wyT/PclLTrWzqnr5vCcdOHr06PBigfOfOQ4w2oYBa+GUnauTXJHkuqq64oRhv57kK7r7KzOb7LxxcJ3AzlDrPHfSO1Td/V+7+xlJnp/k1afaWXff3N37u3v/nj17xlUJTII5DrAVlnkHyyk7wHY5nGTvwuNLkjxwqsHd/ZtJnlZVu7e6MGCSzHGA4ZYJWENP2QE4jbuSXF5Vl1XVhUmuTXL74oCqenpV1fz+VyW5MMmfbnulwBSY4wDDLROwhp2y43oI4HS6+9Ekr0hyZ5IPJHlrd99dVTdU1Q3zYd+a5H1V9Z7MTu15wcLqMsBmmOMAwy3zMe2bPmWnqp5WVbu7+8ETtt2c5OYk2b9/vwkRcJLuviPJHSc8d9PC/dckec121wVMkjkOMNwy72A5ZQcAmCJzHGC4Dd/B6u5Hq+r4KTu7ktxy/JSd+fabMjtl58VV9UiST8cpOwCs2LE8Nmu13hlg03HsSZdm7SP3rbqM85Y5DrAVljlF0Ck7AJx31vKZ1MQ/8K2PTDtAbgdzHGC0pf7QMAAAABsTsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAYRsAAAAAa5YNUFAJxrjl20L2tHDq26DADgPCRgAZxg7cihVHrVZWypTq26BACYJKcIAgAADCJgAQAADCJgAQAADCJgAeeUqrqqqu6pqoNVdeM626+vqvfOb79dVV+xijoBANYjYAHnjKraleT1Sa5OckWS66rqihOG/XGSr+/uZyV5dZKbt7dKAIBTWypgWVEGtsmVSQ52973d/XCS25Jcszigu3+7u/9s/vB3k1yyzTUCE2KOA4y2YcCyogxso4uT3L/w+PD8uVN5aZJfOdXGqnp5VR2oqgNHjx4dVCIwFeY4wFZY5h0sK8rAdlnvjzOt+wepqurvZBawfvBUO+vum7t7f3fv37Nnz6ASgQkxxwGGWyZgDVtRtpoMbOBwkr0Ljy9J8sCJg6rqWUnemOSa7v7TbaoNmB5zHGC4ZQLWsBVlq8nABu5KcnlVXVZVFya5NsntiwOq6ilJ3p7kRd39wRXUCEyHOQ4w3AVLjNnsivLVVpSBM9Hdj1bVK5LcmWRXklu6++6qumG+/aYkP5rky5K8oaqS5NHu3r+qmoHzmjkOMNwyAetzK8pJPpzZivILFwdYUQZG6e47ktxxwnM3Ldx/WZKXbXddwCSZ4wDDbRiwrCgDAFNkjgNshWXewbKiDABMkjkOMNpSAQtG2bf3WA4dXlt1GVvm0kuO5b77p3t8ALBZ+y46lkNH/NvIziFgsa0OHV5L37rehzZNQ12/7odPAcCOdejIWnrdD2ycjlr/wyfZoZb5mHYAAACWIGABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImABAAAMImAB55Squqqq7qmqg1V14zrbn1FVv1NVn6mqH1hFjQAAp7JUwDLhAbZDVe1K8vokVye5Isl1VXXFCcM+luS7k7x2m8sDJsgcBxhtw4BlwgNsoyuTHOzue7v74SS3JblmcUB3f7S770ryyCoKBKbDHAfYCsu8g2XCA2yXi5Pcv/D48Py5M1JVL6+qA1V14OjRo2ddHDA55jjAcMsErGETHpMdYAO1znN9pjvr7pu7e39379+zZ89ZlAVMlDkOMNwyAWvYhMdkB9jA4SR7Fx5fkuSBFdUCTJ85DjDcMgHLhAfYLnclubyqLquqC5Ncm+T2FdcETJc5DjDcBUuM+dyEJ8mHM5vwvHBLqwJ2pO5+tKpekeTOJLuS3NLdd1fVDfPtN1XVRUkOJHl8kv9XVd+b5Iru/uSq6gbOW+Y4wHAbBiwTHmA7dfcdSe444bmbFu5/JLNVZoCzYo4DbIVl3sEy4QEAJskcBxhtqT80DAAAwMYELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEELAAAgEEuWHUBAMCZOZbHZq1q1WVsqWNPujRrH7lv1WUALE3AAoDz1Fo+k0qvuowt1UemHSCB6XGKIAAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCACFgAAwCAXrLoAmJLHPuZYqtZWXcaWuvSSY7nv/mkfI8B22XfRsRw6oqfClAhYMNBnHllL31qrLmNL1fW96hIAJuPQkbV0Jv7vRvy7wc7iFEEAAIBBBCwAAIBBBCwAAIBBBCwAAIBBBCwAAIBBBCwAAIBBBCwAAIBBBCwAAIBBBCwAAIBBlgpYVXVVVd1TVQer6sZ1tldV/dR8+3ur6qvGlwrsBPoNsJ30HGC0DQNWVe1K8vokVye5Isl1VXXFCcOuTnL5/PbyJD8zuE5gB9BvgO2k5wBbYZl3sK5McrC77+3uh5PcluSaE8Zck+TneuZ3kzyxqp48uFZg+vQbYDvpOcBwFywx5uIk9y88Ppzkq5cYc3GSP1kcVFUvz2z1J0keqqp7NlNsXb+Z0Wdtd5IHt/UVUxM/xpr9d+LHuM3Hl6ziGGtTX3DpJsYO6zfJ2faczR3kWdr2flML/90mjnEL7JhjXL7pbKbfJOfIHGdbf4Iz2//vxva92HGOcbgdcowD5jjLBKz1XqbPYEy6++YkNy/xmitXVQe6e/+q69hKjnEaJnaMw/pNcv70nIn9DNflGKdhgsdojjNRjnEaztdjXOYUwcNJ9i48viTJA2cwBmAj+g2wnfQcYLhlAtZdSS6vqsuq6sIk1ya5/YQxtyd58fyTdr4mySe6+6TTdQA2oN8A20nPAYbb8BTB7n60ql6R5M4ku5Lc0t13V9UN8+03JbkjyXOTHEzyF0m+c+tK3jbnxdv8Z8kxTsNkjlG/mTTHOA2TOkY9Z9Ic4zScl8dY3eteugAAAMAmLfWHhgEAANiYgAUAADCIgLWOqrqqqu6pqoNVdeOq6xmtqm6pqo9W1ftWXctWqaq9VfUbVfWBqrq7qr5n1TWNVFVrVfWuqvr9+fH92Kpr4szoN+e/qfebRM+Ziqn3m2T6PUe/OT+4BusEVbUryQeTPCezj2a9K8l13f3+lRY2UFV9XZKHMvvL9M9cdT1boaqenOTJ3f17VfUlSd6d5PlT+TlWVSX54u5+qKoek+SdSb6nu393xaWxCfrNNEy93yR6zhTshH6TTL/n6DfnB+9gnezKJAe7+97ufjjJbUmuWXFNQ3X3byb52Krr2Erd/Sfd/Xvz+59K8oEkF6+2qnF65qH5w8fMb1ZLzj/6zQRMvd8kes5ETL7fJNPvOfrN+UHAOtnFSe5feHw4E/sfd6epqn1J/nqS/7PiUoaqql1V9Z4kH03ya909qePbIfSbiZlqv0n0nAnQbyZGvzl3CVgnq3WeO69SM3+pqh6X5G1Jvre7P7nqekbq7s9291cmuSTJlVU1uVMhdgD9ZkKm3G8SPWcC9JsJ0W/ObQLWyQ4n2bvw+JIkD6yoFs7C/LzdtyW5tbvfvup6tkp3fzzJO5JctdpKOAP6zUTslH6T6DnnMf1mIvSbc5+AdbK7klxeVZdV1YVJrk1y+4prYpPmF0i+KckHuvt1q65ntKraU1VPnN//wiTflOQPV1oUZ0K/mYCp95tEz5kI/WYC9Jvzg4B1gu5+NMkrktyZ2YWDb+3uu1db1VhV9Z+T/E6Sv1pVh6vqpauuaQt8bZIXJfmGqnrP/PbcVRc10JOT/EZVvTezfzR/rbt/ecU1sUn6zWRMvd8kes55byf0m2RH9Bz95jzgY9oBAAAG8Q4WAADAIAIWAADAIAIWAADAIAIWAADAIAIWAADAIAIWAADAIAIWAADAIP8fFpQ97UR9pDsAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 864x288 with 3 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "fig, axes = plt.subplots(1, 3, figsize=(12, 4))\n",
    "ax = axes.ravel()\n",
    "label = ['0','1','2','3']\n",
    "\n",
    "ax[0].bar(label, P, color = 'orange', edgecolor='blue',width=1)\n",
    "ax[0].set_title(\"Distribución P\")\n",
    "\n",
    "ax[1].bar(label, Q1, color = 'blue', edgecolor='red',width=1)\n",
    "ax[1].set_title(\"Distribución Q1\")\n",
    "\n",
    "ax[2].bar(label, Q2, color = 'red', edgecolor='blue',width=1)\n",
    "ax[2].set_title(\"Distribución Q2\")\n",
    "\n",
    "fig.tight_layout()\n",
    "plt.show()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Entropía cruzada en aprendizaje de máquinas</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Recordemos que  que una red neuronal de clasificación transforma un tensores de entrada en  una distribuciones. Tal distribución indica las probsbilidades de que el tensor de entrada pertezca a cada una de las clases.\n",
    "\n",
    "En el entrenamiento se busca encontrar los pesos sinápticos que minimizan conjuntamente la entropía cruzada entre la distribución de salida de los tensores calculada por la red neuronal y la distribución verdadera asociada a cada tensor.\n",
    "\n",
    "Por ejemplo, supongamos que se tienen tres clases y que para un determinado tensor la clase asociada es la 1 (las posibles clases son 0,1,2).\n",
    "\n",
    "Entonces, la distribución verdadera en este caso es $P=(0,1,0)$. Por otro lado, supongamos que la distribución que calcula la red neuronal para este tensor es $Q= (0.2, 0.7, 0.1)$. Entonces, la entropía cruzada para este tensor es dada por\n",
    "\n",
    "$$\n",
    "H(P,Q) = - 1 \\log 0.7 = 0.357\n",
    "$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- [Regresar al inicio](#Contenido)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  },
  "toc-autonumbering": false
 },
 "nbformat": 4,
 "nbformat_minor": 4
}