GeoData.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Esta parte técnica no se explica por el momento"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import os\n",
    "import folium\n",
    "import sys\n",
    "from IPython.display import HTML\n",
    "import shapely.geometry as geometria\n",
    "import geopandas as gpd\n",
    "import pandas as pd\n",
    "import matplotlib as mpl\n",
    "import matplotlib.pyplot as plt\n",
    "from geopy.geocoders import Nominatim\n",
    "sys.path.insert(0, 'scripts')\n",
    "\n",
    "from mapitas import mapa, figura"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "archivo = ['data/geodata/delegaciones_df.geojson']\n",
    "archivos = ['data/geodata/delegaciones_df.geojson','data/geodata/cuadrantes2015.geojson']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Fin de la parte que no voy a explicar :p"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Ciencia de Datos\n",
    "* Es un campo interdisciplinario sobre procesos y sistemas que buscan extraer conocimiento y comprensión (explicación y predicción) de los datos disponibles.\n",
    "* Se enfoca más en la correlación que en la causalidad."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Enfoque interdisciplinario\n",
    "1. Bases de datos\n",
    "2. Sistemas de Big Data.\n",
    "3. Estadística.\n",
    "4. Aprendizaje Máquina.\n",
    "5. Minería de Datos\n",
    "6. Visualización de datos\n",
    "7. Dominio del tema de aplicación"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Análisis Geoespacial de Datos\n",
    "\n",
    "Como nativos o visitantes de esta gran ciudad, es común recurrir a tecnologías de localización como Google o Apple maps para encontrar productos o servicios, sin embargo, el análisis geoespacial va más allá de solo estos sencillas conceptos y sus usos se extienden desde la topografía hasta la publicidad focalizada."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "HTML('<iframe width=\"560\" height=\"315\" src=\"https://www.youtube.com/embed/7bXJ_obaiYQ\" frameborder=\"0\" allow=\"autoplay; encrypted-media\" allowfullscreen></iframe>')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Análisis Geoespacial de datos es un caso especial del análisis de datos.\n",
    "\n",
    "* Tipos de datos especiales.\n",
    "* Múltiples aplicaciones de interés:\n",
    "    * Tráfico Urbano.\n",
    "    * Salud.\n",
    "    * Política.\n",
    "    * Inteligencia de negocios.\n",
    "    * Hidrología\n",
    "    * y más..."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Tecnologías en el análisis geoespacial de datos\n",
    "\n",
    "* Sistemas de información geográfica (QGIS).\n",
    "* Bases de datos geográficas (PostgreSQL + PostGIS).\n",
    "* Análisis de datos (R & Python).\n",
    "* Sistemas de Big data (Hadoop).\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Conceptos básicos:\n",
    "\n",
    "El tipo de dato geoespacial más básico es el punto, para definir un punto usamos las siguientes instrucciones:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "p1 = geometria.Point(0,0)\n",
    "print(p1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "El siguiente tipo de dato básico es el polígono, este es una superficie en dos dimensiones que guarda una secuencia de puntos(__el orden es importante__) que definen la forma exterior."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "poly = geometria.Polygon([(0, 0), (0, 2), (1, 1),(2, 2), (2, 0), (1, 0.8), (0, 0)])\n",
    "figura(poly)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Existen muchos tipos de datos especiales más como:\n",
    "* LineString\n",
    "* MultiPoint\n",
    "* MultiLineString\n",
    "* MultiPolygon\n",
    "* GeometryCollection.\n",
    "\n",
    "Ya antes trabajamos con el paquete de python **Pandas**, que nos permite trabajar con datos de distintos tipo, pero que sin embargo no soporta tipos de datos espaciales.\n",
    "\n",
    "Además los formatos comunes de intercambio de datos como el muy popular **JSON** (JavaScript Object Notation) no manejan de forma nativa estos datos.\n",
    "\n",
    "En este caso recurrimos a [GeoPandas](https://github.com/geopandas/geopandas) y [GeoJSON](http://geojson.org/), ambos extienden las capacidades de sus pares para manejar tipos de datos geográficos.\n",
    "\n",
    "Por ejemplo, repitamos parte del ejercicio anterior con un conjunto de datos que incluye tipos geográficos:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "metro = gpd.read_file('data/geodata/metro-cdmx.geojson')\n",
    "metro"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Suele suceder que tenemos algunos datos que no tienen campos con tipos geográficos pero si los elementos para construirlos, por ejemplo, nuestro conjunto principal de datos de hoy (datos de crímenes 2013-2016 [hoyodecrimen](https://hoyodecrimen.com/))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df = pd.read_csv('data/crimedata/Crimenes-lat-long2013-2016.csv')\n",
    "df.head(20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Como todo conjunto de datos que se precie tiene valores no adecuados y/o campos vacíos, estos últimos los podemos contar con:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df[pd.isnull(df).any(axis=1)]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Lo ideal suele ser realizar alguna imputación de acuerdo a algún campo, cuando esto no es posible, eliminar la fila con datos vacíos es también aceptable.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "df.dropna(axis=0, inplace=True)\n",
    "df.head(20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Dado que tenemos la latitud y longitud podemos generar un campo de tipo punto, para cada entrada de los datos y después generar un GeoDataFrame de geopandas para poder hacer uso posterior."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "geometry = [geometria.Point(xy) for xy in zip(df.long, df.lat)]\n",
    "geo_df = gpd.GeoDataFrame(df,geometry=geometry)\n",
    "geo_df.head(20)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Ahora debemos determinar el area que nos interesa estudiar"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "mapa(archivo)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "cuadrantes_vecinos= ['P-2.3.5','P-2.3.8','P-2.3.2','P-2.3.1', 'P-2.3.9', 'P-2.3.7']\n",
    "area_interes = geo_df[geo_df['cuadrante'].isin(cuadrantes_vecinos)]\n",
    "area_interes.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Podremos seleccionar los tipos de crimen o crímenes que nos interesen"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "area_interes['crime'].unique()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ejercicio: filtrar los datos conforme a crimen y/o año"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "area_interes.to_file('data/geodata/azc.geojson',driver='GeoJSON')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Gracias ::smile::"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}