UTE_TallerAnalisisCuanti.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "provenance": [],
      "authorship_tag": "ABX9TyOMhew+vliTms3dIOli5EAH",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/otoperalias/teaching/blob/TallerUTE_AnalisisCuanti/UTE_TallerAnalisisCuanti.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "<img src=\"https://github.com/otoperalias/teaching/blob/TallerUTE_AnalisisCuanti/material/6.%20M%C3%89TODOS%20CUANTITATIVOS%20WORKSHOP%20(1).jpg?raw=true\" alt=\"drawing\" width=\"900\"/>\n",
        "\n"
      ],
      "metadata": {
        "id": "m8l8hADy_TjZ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Taller de Análisis de Datos Cuantitativos\n",
        "\n",
        "### Maestría en Urbanismo (UTE, Ecuador).\n",
        "\n",
        "Instructor: [Daniel Oto-Peralías](https://otoperalias.github.io/)\n",
        "_________________________"
      ],
      "metadata": {
        "id": "lByeC5V4GRSE"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "El objetivo del taller es aprender a explotar una encuesta o un censo a través de programas estadísticos de análisis cuantitativo.\n",
        "\n",
        "Usaremos el [Censo de Población y Vivienda de Ecuador (2010)](https://www.ecuadorencifras.gob.ec/censo-de-poblacion-y-vivienda/) para analizar las características de las viviendas de la provincia de Loja.\n",
        "\n",
        "**Vamos a necesitar el siguiente material:**\n",
        "1. Los [datos del censo](https://www.ecuadorencifras.gob.ec/base-de-datos-censo-de-poblacion-y-vivienda/): hacemos clic en *A NIVEL DE SECTOR* en *Censo Población y Vivienda 2010* y luego seleccionamos *Loja  (formato CSV)*.\n",
        "2. El [cuestionario del censo](https://www.ecuadorencifras.gob.ec//wp-content/descargas/Poblacion_y_demo/Cuestionario_censal/cuestionario_censal.pdf), donde podemos ver el significado de los códigos numéricos que aparecen en los datos.\n",
        "3. El diccionario de datos del censo, para conocer el significado de cada variable. Se puede obtener a través de [este enlace](https://aplicaciones3.ecuadorencifras.gob.ec/BIINEC-war/index.xhtml?oe=CENSOS%20DE%20POBLACI%D3N%20Y%20VIVIENDA%20NACIONAL&a=2010&m=DECENAL&t=Datos%20Abiertos%20CSV), clicando en *Datos Abiertos CSV*, pero para evitaros tener que descargar dicho archivo tan pesado (~1GB), lo proporciono en [este enlace](https://github.com/otoperalias/teaching/raw/TallerUTE_AnalisisCuanti/material/Diccionario%20de%20Datos%20CPV2010.xls).\n",
        "4. Además, es útil tener a mano esta publicación con una descripción de los resultados del Censo para la provincia de Loja. Disponible [aquí](https://www.ecuadorencifras.gob.ec/censo-de-poblacion-y-vivienda/), clicando en *Resultados provinciales* en *Loja*."
      ],
      "metadata": {
        "id": "9QJVM6_S_zYR"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**Sobre el programa informático:**\n",
        "\n",
        "* En este taller usamos [**Google Colab**](https://colab.research.google.com/?hl=es), que es un *notebook* virtual desde el que podemos usar **Python**.\n",
        "* La librería principal que vamos a usar es **Pandas**, una \"paquete\" especializado en el procesamiento y análisis de datos cuantitativos.\n",
        "* La gran ventaja de Python-Pandas frente a otras alternativas (SPSS/Stata/etc.) es su carácter gratuito y la gran cantidad de recursos de ayuda que existe en Internet, debido a su enorme comunidad de usuarios."
      ],
      "metadata": {
        "id": "MH3tT32NHU5I"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 1. Importamos las librerías que vamos a utilizar"
      ],
      "metadata": {
        "id": "Ug_RPmKzJnC8"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para usar el paquete de **Pandas** y poder visualizar los datos, tenemos que importar estas librerías:"
      ],
      "metadata": {
        "id": "li8DMsZV25Wv"
      }
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "metadata": {
        "id": "Y8_GMaPLouFM"
      },
      "outputs": [],
      "source": [
        "import pandas as pd\n",
        "import matplotlib.pyplot as plt\n",
        "import seaborn as sns"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 2. Importamos los datos\n"
      ],
      "metadata": {
        "id": "fehhNZfQJ2hs"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para importar los datos, en primer lugar, tenemos que descargar los datos en nuestro ordenador y subirlos a Google Colab:\n",
        "1. Clicamos en el icono de carpeta que hay en la parte superior de la barra de la izquierda (📁) y entonces clicamos en el primer icono de upload.\n",
        "2. Se abre una ventana para seleccionar el archivo que queremos subir y seleccionamos la carpeta comprimida \"Loja_CSV_Vivienda\". Nótese que al descargar los datos de la provincia de Loja de la web, se obtiene una carpeta comprimida. Una vez descomprimida, vemos que dentro hay 4 carpetas comprimidas, una de ellas \"Loja_CSV_Vivienda\". Estas 4 carpetas no deben descomprimirse ya que se importan directamente comprimidas."
      ],
      "metadata": {
        "id": "rnYzfsQZJ75j"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Una vez que tenemos subido el fichero y que aparece como tal (\"Loja_CSV_Vivienda.zip\") en la barra izquierda, podemos importarlo:"
      ],
      "metadata": {
        "id": "5oykwNuTLU-Z"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "viv=pd.read_csv(\"Loja_CSV_Vivienda.zip\",compression='zip')"
      ],
      "metadata": {
        "id": "L-igsBqArNpN"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para visualizar la tabla, escribimos el nombre que le hemos dado"
      ],
      "metadata": {
        "id": "DgKtdN2CLa0K"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "viv"
      ],
      "metadata": {
        "id": "SQI1CN6Jr5W-"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Como se observa, esta tabla de datos (```dataframe```) tiene 155317 filas y 31 columnas. Cada fila contiene los datos censales de una vivienda.  \n",
        "En los ```dataframe``` las filas se identifican con un ```index```, que generalmente es único para cada fila. Las columnas se identifican con un nombre. No debe confundirse el index de la tabla con una columna. Es decir, el index no es la primera columna.\n",
        "\n",
        "<img src=\"https://github.com/otoperalias/teaching/blob/TallerUTE_AnalisisCuanti/material/df_structure.jpg?raw=true\" alt=\"drawing\" width=\"550\"/>"
      ],
      "metadata": {
        "id": "TGf4OQxaKtCF"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 3. Exploración inicial"
      ],
      "metadata": {
        "id": "gq6WEgcpnecL"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para conocer las columnas que contiene la tabla, escribimos el siguiente código:"
      ],
      "metadata": {
        "id": "97F5KvCZMYKH"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "viv.columns"
      ],
      "metadata": {
        "id": "doEmXame4jNY"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Nótese que necesitamos el diccionario de datos del censo para conocer el significado de cada columna. Por otra parte, para saber el significado de los diferentes valores que toman las variables, necesitamos el cuestionario del censo. Ambos documentos se mencionan al comienzo de este notebook."
      ],
      "metadata": {
        "id": "SZW7L5PyMf_X"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para obtener el número de filas de la tabla (o sea, su longitud) escribimos lo siguiente:"
      ],
      "metadata": {
        "id": "XwyB3AvuNEtv"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "len(viv)"
      ],
      "metadata": {
        "id": "35aUF5vmtZ4T"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Podemos comprobar en el PDF con los resultados para Loja que en esta provincia hay 155308 viviendas. La pequeña diferencia se debe a que hay 9 cuestionarios de hogares sin viviendas (código 17 en la variable VTV).  \n",
        "La función ```value_counts()``` nos da la distribución de frecuencias de una variable."
      ],
      "metadata": {
        "id": "JOcZtO3eNS-G"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Tipo de Vivienda\n",
        "viv[\"VTV\"].value_counts()"
      ],
      "metadata": {
        "id": "ShieU-le4Gxs"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "En cuanto a terminología, las palabras *variable*, *campo* y *columna* se refieren a lo mismo. En inglés, *variable*, *field* y *column*."
      ],
      "metadata": {
        "id": "wiMGw81ZN8JA"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Ahora creamos un gráfico similar al del PDF (página 7: *¿Qué tipo de vivienda tenemos?*):"
      ],
      "metadata": {
        "id": "Uc7vPFZKOUYl"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "sns.histplot(data=viv,x=\"VTV\",stat=\"percent\")"
      ],
      "metadata": {
        "id": "dKaR0u5wyzE6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "El siguiente bloque de código procesa ligeramente los datos para crear un gráfico más entendible. En concreto, creamos una nueva variable en la que asignamos a cada código numérico su etiqueta."
      ],
      "metadata": {
        "id": "V5M0RTKgO0H_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Procesamos los datos para mejorar el gráfico\n",
        "viv['tipov']=\"\" # Añadimos una nueva columna y en las líneas de código siguientes le damos contenido según los códigos de la columna VTV\n",
        "viv.loc[viv['VTV']==1,'tipov']=\"Casa/Villa\"\n",
        "viv.loc[viv['VTV']==2,'tipov']=\"Departamento\"\n",
        "viv.loc[viv['VTV']==3,'tipov']=\"Cuarto\"\n",
        "viv.loc[viv['VTV']==4,'tipov']=\"Mediagua\"\n",
        "viv.loc[viv['VTV']==5,'tipov']=\"Rancho\"\n",
        "viv.loc[(viv['VTV']==6) | (viv['VTV']==7),'tipov']=\"Covacha/Choza\"\n",
        "viv.loc[(viv['VTV']==8),'tipov']=\"Otro\""
      ],
      "metadata": {
        "id": "CgghpHthzBmh"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Ahora filtramos los datos para centrarnos en las viviendas particulares (excluyendo las colectivas):"
      ],
      "metadata": {
        "id": "I_w9ySPs6w9p"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vivpar=viv.loc[viv['VTV']<=8].copy()"
      ],
      "metadata": {
        "id": "JE6mLeBw6_--"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para que las barras del gráfico salgan ordenadas según el código de la variable VTV, ordenamos la tabla por dicha variable:"
      ],
      "metadata": {
        "id": "iMqx5Ur67D7H"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vivpar=vivpar.sort_values(\"VTV\")"
      ],
      "metadata": {
        "id": "kzpoJZ0Y7Vc3"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Creamos el gráfico:"
      ],
      "metadata": {
        "id": "9cFjLmp-7bpf"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "fig,ax=plt.subplots()  # Aquí se indica que queremos crear una figura (fig) que contiene un gráfico (ax)\n",
        "sns.histplot(data=vivpar,x=\"tipov\",stat=\"percent\",ax=ax)  # Se indica que queremos representar un histograma, que muestre los porcentajes\n",
        "ax.tick_params(axis='x', rotation=90) # Etiquetas del eje x giradas 90 grados para visualizarse mejor.\n",
        "ax.set_ylabel(\"Porcentaje\") # Título del eje y, donde se indica la unidad de medida\n",
        "ax.set_xlabel(\"\")  # No queremos título en el eje x, porque se sobre entiende.\n",
        "ax.set_title(\"¿QUÉ TIPO DE VIVIENDA TENEMOS?\")  # Título de la figura\n",
        "plt.show() # Comando para que se dibuje el gráfico."
      ],
      "metadata": {
        "id": "iqGxc1ti7e-Y"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 4. Estadística descriptiva"
      ],
      "metadata": {
        "id": "hXkT_j_VnlrZ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4.1. Distribución de frecuencias.  \n",
        "  El gráfico anterior es un ejemplo de distribución de frecuencias, un histograma. Nos muestra como se dividen las observaciones (viviendas) por los valores o categorías de las variables.\n",
        "  <br />  \n",
        "Volvemos a crear un histograma, esta vez con la variable total de personas (TOTPER). Usamos la tabla ```vivpar``` y volvemos a hacer un filtro para quedarmos con aquellas viviendas particulares ocupadas con personas viviendo. A esta tabla la vamos a llamar *vpo*."
      ],
      "metadata": {
        "id": "Fe5fTKeaskEJ"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo=vivpar.loc[vivpar['VCO']==\"1\"].copy()"
      ],
      "metadata": {
        "id": "aV3vF6bKxWmq"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "sns.histplot(data=vpo,x=\"TOTPER\", bins=22)\n"
      ],
      "metadata": {
        "id": "IO-VMc5eyKsB"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4.2. Medidas de tendencia central.  \n",
        "- La *moda* es el valor o categoría que más se repite.   \n",
        "- La *mediana* es el valor central de la distribución, que la divide en dos partes iguales.  \n",
        "- La *media* es el promedio.\n",
        "  <br />  \n",
        "  Vamos a analizar las medidas de tendencia central de la variable total de personas que residen en viviendas particulares."
      ],
      "metadata": {
        "id": "9fTO_O6gtA7X"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Moda\n",
        "vpo['TOTPER'].mode()"
      ],
      "metadata": {
        "id": "uFQuoHBMzfCa"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Mediana\n",
        "vpo['TOTPER'].median()"
      ],
      "metadata": {
        "id": "uv3DSmzY0UWa"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Media\n",
        "vpo['TOTPER'].mean()"
      ],
      "metadata": {
        "id": "NgXYWyz51Kh6"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4.3. Medidas de dispersión o variabilidad:\n",
        "- Rango: valor máximo - valor mínimo.\n",
        "- Varianza: promedio de las desviaciones cuadráticas respecto a la media.\n",
        "- Desviación estándar: raíz cuadrada de la varianza. La desviación estándar es una medida interesante porque en una [distribución normal](https://upload.wikimedia.org/wikipedia/commons/thumb/3/3a/Standard_deviation_diagram_micro.svg/1920px-Standard_deviation_diagram_micro.svg.png), el 64,2% de la distribución se encuentra en torno a 1 desviación estandar de la media."
      ],
      "metadata": {
        "id": "O_sOIMA51yK7"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "print(\"El rango del número de personas ocupando una vivienda es: \",\n",
        "      vpo['TOTPER'].max()-vpo['TOTPER'].min())"
      ],
      "metadata": {
        "id": "T4rYOVlh13Ud"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(\"La varianza del número de personas ocupando una vivienda es: \",\n",
        "      vpo['TOTPER'].var())"
      ],
      "metadata": {
        "id": "TPKBglOZ3S6m"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(\"La desviación estándar del número de personas ocupando una vivienda es: \",\n",
        "      vpo['TOTPER'].std())"
      ],
      "metadata": {
        "id": "R1gBm_Ox3ful"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4.4. Otras medidas de estadística descriptiva:\n",
        "- Asimetría: en qué medida la distribución objeto de estudio se parece a una normal.\n",
        "-Curtosis: elevación o achatamiento de la distribución, comparada con una normal.\n",
        "-z-score: valor normalizado por la media y desviación estándar ```(x-u)/sigma```. Indica cuántas desviaciones estándar está un valor alejado de la media.\n"
      ],
      "metadata": {
        "id": "qrkBAhzs37Fe"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Asimetría\n",
        "vpo['TOTPER'].skew() # Valor > 0: la cola de la distribución de la derecha es mayor que la de la izquierda (valor <0 sería lo contrario)."
      ],
      "metadata": {
        "id": "XkYdLve_3o8d"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Curtosis:\n",
        "vpo['TOTPER'].kurt() # Si x > 0: curtosis alta; si ~0 normal, si <0: baja. En este caso, tenemos un nivel bajo."
      ],
      "metadata": {
        "id": "lucei3k46NJe"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Z-score:\n",
        "zscore=(vpo['TOTPER']-vpo['TOTPER'].mean())/vpo['TOTPER'].std()\n"
      ],
      "metadata": {
        "id": "3G2VSI-g7PZd"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "### 4.5. Resumen de estadísticos descriptivos"
      ],
      "metadata": {
        "id": "FkuAhjlYHyFQ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Resumen de la variable TOTPER:"
      ],
      "metadata": {
        "id": "QGCx1TAg8jXL"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo['TOTPER'].describe()"
      ],
      "metadata": {
        "id": "NTWcR4KbH21f"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Resumen de la tabla vpo completa\n"
      ],
      "metadata": {
        "id": "fCt5uGmD8qoH"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo.describe()"
      ],
      "metadata": {
        "id": "ca9fQyZrH_E_"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "**Cuidado**: estos valores solo tienen sentido para las variables numéricas cardinales/ordinales, pero no para las que establecen categorías (!).  \n",
        "Además, aquí podemos comprobar que algunas variables que deben ser numéricas están almacenadas como texto (y por tanto no aparecen en la tabla), por ej. el número de focos."
      ],
      "metadata": {
        "id": "j0Ois56I87ci"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 5. Agregaciones espaciales"
      ],
      "metadata": {
        "id": "oxzazpMvebsm"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Hasta ahora hemos estado usando datos individuales (a nivel de vivienda), pero con frecuencia nos interesa conocer los datos agregados de diferentes unidades geográficas, como la parroquia, el cantón y la provincia.  \n",
        "Vamos a agrupar las filas de la tabla por cantones usando la función ```groupby()```. Para ello, tenemos que preparar las variables que nos interesan agrupar. Supongamos que queremos medir el nivel de ocupación de las viviendas (personas), el número de dormitorios y su estado de conservación. Por tanto, nos interesan las siguientes variables:  TOTPER, TOTDOR,  V02, V04 y V06."
      ],
      "metadata": {
        "id": "hdQwH5DcefqG"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Primero vamos a procesar la información del estado de conservación para crear variables que se puedan agregar por unidades geográficas."
      ],
      "metadata": {
        "id": "NByOIHsbtaq-"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "# Estado de conservación (1 si bueno, 0 el resto)\n",
        "vpo['techo_est']=0\n",
        "vpo.loc[(vpo['V02']==\"1\") , 'techo_est']=1\n",
        "\n",
        "vpo['pared_est']=0\n",
        "vpo.loc[(vpo['V04']==\"1\") , 'pared_est']=1\n",
        "\n",
        "vpo['suelo_est']=0\n",
        "vpo.loc[(vpo['V06']==\"1\") , 'suelo_est']=1\n",
        "\n",
        "vpo['buen_est']=0\n",
        "vpo.loc[(vpo['V02']==\"1\") & (vpo['V04']==\"1\") & (vpo['V06']==\"1\") , 'buen_est']=1\n",
        "\n",
        "vpo[['techo_est','pared_est','suelo_est','buen_est']].describe()"
      ],
      "metadata": {
        "id": "LDHMEZhkk_7q"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "La variable TOTPER ya la hemos explorado antes y no presenta problemas"
      ],
      "metadata": {
        "id": "QztZFAuttiZi"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "En cuanto a la variable TOTDOR, está almacenada como texto y hay que pasarla a formato numérico."
      ],
      "metadata": {
        "id": "BIQWI6litmSj"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo['TOTDOR']=vpo['TOTDOR'].astype(\"int16\")\n",
        "vpo['TOTDOR'].describe()"
      ],
      "metadata": {
        "id": "E9GTOO0bs0IL"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Ahora ya podemos agrupar por cantones (variable I02) usando la función ```groupby()```. Antes de ello, vamos a crear una variable que toma siempre el valor 1 para contabilizar el total de viviendas en cada cantón."
      ],
      "metadata": {
        "id": "NToRAoaHlucY"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo[\"num\"]=1\n",
        "\n",
        "vpo_c=vpo[['I02','num','TOTPER', 'TOTDOR', 'techo_est',\n",
        "           'pared_est','suelo_est','buen_est']].groupby(\"I02\").sum()"
      ],
      "metadata": {
        "id": "U4ucf3LmmIV2"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "\n",
        "Esta es la tabla agregada a nivel cantonal:"
      ],
      "metadata": {
        "id": "ktCFWPUUup5t"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo_c"
      ],
      "metadata": {
        "id": "3j5MpYPomXyu"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Obsérvese que la función ```sum()``` tiene sentido para agregar estas variables, pero téngase en cuenta que este no siempre es el caso.  \n",
        "Por otra parte, sería interesante conocer el nombre de cada cantón, no solo su código numérico. Para ello, vamos a enlazar esta tabla con otra que contiene el código y nombre de cada cantón. Está disponible [aquí](https://github.com/otoperalias/teaching/blob/TallerUTE_AnalisisCuanti/material/cantones_loja.xlsx). Tenemos que descargarlo y subirlo a Google Colab."
      ],
      "metadata": {
        "id": "dZ-pXlCDqmtR"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "cantones=pd.read_excel(\"cantones_loja.xlsx\")\n",
        "cantones"
      ],
      "metadata": {
        "id": "fe8ra4bvq8Gs"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "A la hora de enlazar dos tablas, necesitamos que tengan una columna común que permita unirlas. La tabla de cantones contiene la columna I02 con el código de cada cantón. La tabla vpo también la contiene, pero al agrupar por cantones en la tabla vpo_c, dicha columna se transformó en el index de la tabla. Así que debemos resetear el index para que I02 vuelva a ser una columna:"
      ],
      "metadata": {
        "id": "6i6Ika7a-mr0"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo_c=vpo_c.reset_index()"
      ],
      "metadata": {
        "id": "chN6GnJqsZRu"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "vpo_c=vpo_c.merge(cantones,on=\"I02\")\n",
        "vpo_c"
      ],
      "metadata": {
        "id": "sBGOIyHfs7Lw"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 6. Cálculo de tasas y otros indicadores"
      ],
      "metadata": {
        "id": "AuCBD4NltWtQ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "Podemos calcular a modo de ejemplo las siguientes tasas:\n",
        "* Porcentaje de viviendas con los techos en buen estado de conservación.\n",
        "* Porcentaje de viviendas con las paredes en buen estado de conservación.\n",
        "* Porcentaje de viviendas con buen estado de conservación en techos, paredes y suelos.\n",
        "\n",
        "Además, vamos a calcular la ocupación media de las viviendas en cada cantón y el número medio de dormitorios por vivienda."
      ],
      "metadata": {
        "id": "XFW9-QdyPPuG"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo_c['techo_est_p']=vpo_c['techo_est']/vpo_c['num']*100\n",
        "vpo_c['pared_est_p']=vpo_c['pared_est']/vpo_c['num']*100\n",
        "vpo_c['buen_est_p']=vpo_c['buen_est']/vpo_c['num']*100\n",
        "\n",
        "\n",
        "vpo_c['totper_med']=vpo_c['TOTPER']/vpo_c['num']\n",
        "vpo_c['totdor_med']=vpo_c['TOTDOR']/vpo_c['num']"
      ],
      "metadata": {
        "id": "6v19ocaRP7Kk"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Ahora podemos representar gráficamente las variables. Por ejemplo, la tasa de viviendas con buen estado total de conservación:"
      ],
      "metadata": {
        "id": "krw-Ecg3S8w_"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "sns.barplot(data=vpo_c, y=\"Cantón\",x=\"buen_est_p\", color=\"tab:red\")\n"
      ],
      "metadata": {
        "id": "a2LAGx6HQkI3"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Para que las barras aparezcan ordenadas, ordenamos la tabla por la variable *buen_est_p*:"
      ],
      "metadata": {
        "id": "jmZo673q_zBC"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo_c=vpo_c.sort_values(\"buen_est_p\")\n",
        "sns.barplot(data=vpo_c, y=\"Cantón\",x=\"buen_est_p\", color=\"tab:red\")\n"
      ],
      "metadata": {
        "id": "njxrdSWM_3_Q"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Es fácil mejorar la apariencia e inteligibilidad del gráfico anterior:"
      ],
      "metadata": {
        "id": "h2F_sipcTJ0v"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "fig,ax=plt.subplots()\n",
        "sns.barplot(data=vpo_c, y=\"Cantón\",x=\"buen_est_p\", color=\"tab:red\")\n",
        "ax.set_xlabel(\"Porcentaje de viviendas\")\n",
        "ax.set_ylabel(\"\")\n",
        "ax.spines['top'].set_visible(False)\n",
        "ax.spines['right'].set_visible(False)\n",
        "ax.set_title(\"Viviendas con buen estado de conservación en techos, paredes y suelos \\n\")\n",
        "fig.text(0,0,\"Fuente: INEC. Censo 2010. Elab. propia.\", size=8)\n",
        "plt.show()"
      ],
      "metadata": {
        "id": "TF3wmQZ5TOUn"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "En cualquier caso, si os resulta al principio más fácil, podéis exportar los datos procesados y realizar el gráfico en otro programa con el que estéis más familiarizados. Para ello, usaís la función ```to_excel()``` como se muestra a continuación:"
      ],
      "metadata": {
        "id": "--lndJqSUQFB"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "vpo_c.to_excel(\"datos_cantones.xlsx\")"
      ],
      "metadata": {
        "id": "rgOKPNWMUjZv"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "El archivo se guarda junto a los otros archivos que habéis subido. Solamente hay que descargarlo."
      ],
      "metadata": {
        "id": "njiIVU8uU2h1"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## 7. Correlaciones"
      ],
      "metadata": {
        "id": "2DqS17djJ0rZ"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "A modo de ejemplo, vamos a ver la (obvia) correlación existente entre la tasa de viviendas con techos en buen estado y la tasa de viviendas con paredes en buen estado:"
      ],
      "metadata": {
        "id": "-wbGJPji2Z9h"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "sns.scatterplot(data=vpo_c,x=\"techo_est_p\",y=\"pared_est_p\")"
      ],
      "metadata": {
        "id": "mMEe7OE-Dv9O"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Ahora algo más interesante: ¿cuál es la correlación entre el número medio de personas por vivienda y el número medio de dormitorios por vivienda?"
      ],
      "metadata": {
        "id": "0c_s46LDwz0k"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "sns.scatterplot(data=vpo_c,x=\"totper_med\",y=\"totdor_med\")"
      ],
      "metadata": {
        "id": "7wDiT7jVF8yW"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Finalmente, podemos preguntarnos si los cantones en cuyas viviendas residen de media más personas son los que tienen viviendas con mejor estado de conservación."
      ],
      "metadata": {
        "id": "pgDtu1CNxYbN"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "sns.scatterplot(data=vpo_c,x=\"totper_med\",y=\"buen_est_p\")"
      ],
      "metadata": {
        "id": "3Rkksz4-Hnn-"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Además de visualmente, las correlaciones pueden calcularse a través del coeficiente de correlación:"
      ],
      "metadata": {
        "id": "fGzKmn4Mxu12"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "variables_de_interes=['techo_est_p', 'pared_est_p', 'buen_est_p','totper_med', 'totdor_med']\n",
        "vpo_c[variables_de_interes].corr()"
      ],
      "metadata": {
        "id": "0a_0Y8quWL1g"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Ejercicios propuestos"
      ],
      "metadata": {
        "id": "rte9CiFrzvDj"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "**Partiendo de la tabla vpo_c:**\n",
        "1. Crear un gráfico de barras donde se represente el total de personas de cada cantón. Tratad que las barras aparezcan ordenadas de menor a mayor.\n",
        "2. Crear una nueva variable que sea el procentaje de viviendas con suelo en buen estado. Una vez creada, calcular la media, el valor máximo y el mínimo.\n",
        "\n",
        "**Partiedo de la tabla vpo:**\n",
        "1. Calcular el porcentaje de viviendas que eliminan principalmente la basura a través de carro recolector. Calcular tanto el porcentaje global para la provincia de Loja así como para sus 16 cantones.\n",
        "2. Calcular el porcentaje de viviendas que cuentan con un medidor de energía eléctrica de uso exclusivo. Calcular tanto el porcentaje global para la provincia de Loja así como para sus 16 cantones.\n",
        "3. Explorar si existe correlación, a nivel cantonal, entre las tasas creadas en el punto 1 y 2.\n"
      ],
      "metadata": {
        "id": "SdYBudAw0Io6"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "---\n",
        "\n",
        "**Consejos básicos**:  \n",
        "Al principio, la mejor manera de escribir código es reutilizando código ya escrito y adaptándolo a nuestras necesidades. Por ejemplo, los ejercicios propuestos se pueden realizar fácilmente usando el código que se proporciona en este notebook, simplemente introduciendo modificaciones mínimas.  \n",
        "Hay que tener en cuenta que cualquier mínimo error al escribir el código, por pequeño que sea (falta un paréntesis, una letra aparece en mayúscula cuando debe estar en minúscula, falta una coma, una comilla, etc) nos va a dar error al ejecutar. Tenéis que ser muy cuidadosos y todo tiene que estar literalmente bien escrito.  Por ello, es importante reutilizar el código ya escrito y fijarse muy bien en que no falte nada.\n",
        "\n",
        "---\n"
      ],
      "metadata": {
        "id": "C49y_6oFBE-o"
      }
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Recursos para el aprendizaje autónomo:\n",
        "\n",
        "Existe una enorme cantidad de recursos disponibles en Internet para aprender a usar ```Pandas``` y más en general ```Python```.  \n",
        "Por ejemplo, este curso aplicado a técnicas geoespaciales:\n",
        "https://geo-python-site.readthedocs.io/en/latest/  \n",
        "\n",
        "Hay también cursos gratuitos en plataformas como www.coursera.org o https://www.edx.org/\n",
        "\n",
        "Es muy común consultar constantemente las dudas en Google. Lo más práctico es escribir la duda en inglés, ya que normalmente hay más ayuda. Suele ser de mucha utilidad las respuestas en el foro https://stackoverflow.com/\n",
        "<br></br>\n",
        "Y por supuesto, la ayuda oficial es también muy buen recurso:  \n",
        "https://pandas.pydata.org/  \n",
        "https://seaborn.pydata.org/  \n",
        "https://matplotlib.org/\n",
        "\n"
      ],
      "metadata": {
        "id": "y1uJ_nkB3EV7"
      }
    }
  ]
}