Web Scraping/Cuadernos/Taller_Regex.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "788c79ac",
   "metadata": {},
   "source": [
    "# <span style=\"color:green\"><center>Diplomado en Inteligencia Artificial y Aprendizaje Profundo</center></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "05bccf6c",
   "metadata": {},
   "source": [
    "# <span style=\"color:red\"><center>Taller de paquete RegEx</center></span>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fb3c8153",
   "metadata": {},
   "source": [
    "## <span style=\"color:blue\">Autores</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "34feabb1",
   "metadata": {},
   "source": [
    "- Oleg Jarma, ojarmam@unal.edu.co \n",
    "- Laura Lizarazo, ljlizarazore@unal.edu.co \n",
    "- Venus Celeste Puertas Gualtero\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b0750bf0",
   "metadata": {},
   "source": [
    "##   <span style=\"color:blue\">Profesores</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2259edb6",
   "metadata": {},
   "source": [
    "1. Alvaro Mauricio Montenegro Díaz, ammontenegrod@unal.edu.co\n",
    "2. Daniel Mauricio Montenegro Reyes, dextronomo@gmail.com \n",
    "3. Campo Elías Pardo Turriago, cepardot@unal.edu.co "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "204c9ab8",
   "metadata": {},
   "source": [
    "##   <span style=\"color:blue\">Asesora Medios y Marketing digital</span>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1878be20",
   "metadata": {},
   "source": [
    "4. Maria del Pilar Montenegro, pmontenegro88@gmail.com "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cbd68ce3",
   "metadata": {},
   "source": [
    "## **¿Qué es?**\n",
    "\n",
    "Una expresión regular es una secuencia de caracteres que forman un patrón de busqueda. Usando el paquete RegEx, podemos buscar dentro de strings o textos estos mismos patrones.\n",
    "\n",
    "El correcto uso de este paquete es muy importante. Y puede aplicarse para cosas como text mining o pre procesamiento de bases de datos "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e3647d91",
   "metadata": {},
   "source": [
    "## **Algunos preliminares**\n",
    "\n",
    "\n",
    "Es necesario hablar de algunos símbolos que nos ayudarán con este paquete.\n",
    "\n",
    "### Metacaracteres\n",
    "tenemos algunos caracteres con significado especial\n",
    "\n",
    "| Caracter    | Uso         |\n",
    "| :---        |     ---:   |\n",
    "| \\.   | Cualquier caracter        |\n",
    "| \\$   | empieza con        |\n",
    "| \\*   | ninguna o más ocurrencias        |\n",
    "| \\+   | Una o más ocurrencias        |\n",
    "| \\{ \\}   | Exactamente el número especificado de caracteres        |\n",
    "|  \\|  | entre las opciones        |\n",
    "|  \\( \\)  | capturar o agrupar        |\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "106cbdbb",
   "metadata": {},
   "source": [
    "### Secuencias secuenciales\n",
    "\n",
    "algunas letras precedidas con un \\ causan busquedas distintas\n",
    "\n",
    "| Caracter      | Uso |\n",
    "| :---        |    ---:   |\n",
    "| \\A      | Busca si los caracteres están al inicio del string      |\n",
    "| \\b   | Busca si los caracteres están al inicio o al final de una palabra (depende donde se ponga)        |\n",
    "| \\B   | Busca si los caracteres están en el string EXCEPTO al inicio o al final de una palabra       |\n",
    "| \\d   | Busca si el string contiene dígitos        |\n",
    "| \\D   | Busca si el string tiene caracteres que NO SEAN dígitos        |\n",
    "| \\s   | Busca si el string contiene espacios        |\n",
    "| \\S   | Busca si el string tiene caracteres que NO SEAN espacios        |\n",
    "| \\w   | Busca si el string contiene caracteres de palabras(letras, dígitos o '_' )        |\n",
    "| \\W   | Busca si el string tiene caracteres que NO SEAN de palabras        |\n",
    "| \\Z   | busca si los caracteeres están el final del string        |"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "db629517",
   "metadata": {},
   "source": [
    "### Conjuntos\n",
    "\n",
    "todo lo definido dentro de dos corchetes \\[ \\] define un conjunto de caracteres con el cual se puede hacer busqueda\n",
    "\n",
    "| Caracter      | Uso |\n",
    "| :---        |    ---:   |\n",
    "| \\[arn\\]      | Busca los caracteres  a,r,n      |\n",
    "| \\[a-n\\]   | Busca los caracteres alfabéticos entre a y n        |\n",
    "| \\[^arn\\]   | Busca los caracteres alfabéticos EXCEPTO a,r,n       |\n",
    "| \\[0123\\]   | Busca los caracteres numéricos 0,1,2,3        |\n",
    "| \\[0-9\\]   | Busca los caracteres numéricos entre 0 y 9        |\n",
    "| \\[0-5\\]\\[0-9\\]   | Busca caracteres numéricos de dos digitos desde 00 y 59        |\n",
    "| \\[a-zA-Z\\]   | Busca caracteres alfabéticos, tanto en minúscula como mayúscula        |\n",
    "\n",
    "Los metacaracteres dentro de los corchetes cuentan como caracteres regulares, así que se buscarán estos mismos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3ef5052b",
   "metadata": {},
   "source": [
    "## El Paquete re"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0ab229f2",
   "metadata": {},
   "source": [
    "Vamos ahora a trabajar con el paquete re y sus distintas funciones\n",
    "\n",
    "Importamos el paquete"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "498be8ca",
   "metadata": {
    "id": "2vmkhDvAwzI2"
   },
   "outputs": [],
   "source": [
    "import re"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9e186ce3",
   "metadata": {
    "id": "s2ogSgYSxAql"
   },
   "source": [
    "### **Función *findall()***"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6e4802c1",
   "metadata": {
    "id": "kJKq3Okmxf7V"
   },
   "source": [
    "Esta función nos devolvera una lista con todos las coincidencias encontradas en los textos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "040a66ba",
   "metadata": {
    "id": "gBh2omqgx0FM"
   },
   "source": [
    "En primer lugar, veamos ejemplos donde hay coincidencias entre el patrón y nuestra cadena de texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "9b67f78d",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "EQ3WnX7ExXV8",
    "outputId": "1490b465-4eef-44e2-f45a-b0f81ac9e88c"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['e', 'a', 'c', 'a', 'd', 'e', 'a', 'd', 'e', 'e']\n",
      "Sí, hay coincidencias\n"
     ]
    }
   ],
   "source": [
    "Texto1_f=\"Primera cadena de texto\"\n",
    "x1=re.findall(\"[a-f]\",Texto1_f) #elemento requerido, cadena de texto\n",
    "print(x1)\n",
    "\n",
    "if (x1):\n",
    "  print(\"Sí, hay coincidencias\")\n",
    "else:\n",
    "  print(\"No hay coincidencias\")"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6ced9291",
   "metadata": {
    "id": "VhQ4l-8VzR9w"
   },
   "source": [
    "En segundo lugar, veamos ejemplos dónde no hay coincidencias entre el patrón y nuestra cadena de texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "4e586c2b",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "Ir5k9v2gy0ag",
    "outputId": "c4df1a93-841f-4929-b78d-df7f47a2be0a"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "No hay coincidencias\n"
     ]
    }
   ],
   "source": [
    "Texto2_f=\"Segunda cadena de texto, veamos\"\n",
    "x2=re.findall(\"té|segunda|do\",Texto2_f)\n",
    "#print(x2)\n",
    "\n",
    "if (x2):\n",
    "  print(\"Sí, hay coincidencias\")\n",
    "else:\n",
    "  print(\"No hay coincidencias\")\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0332eb5a",
   "metadata": {
    "id": "nBoxnVS1_OzV"
   },
   "source": [
    "En esta función, se puede poner más de un patrón del que se espera coincidencia en la cadena de texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "db8f1024",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "bwfqo_tY1aWQ",
    "outputId": "a0fc67ed-d4e8-44e2-e6e7-fe90cbc9955c"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['T', 'texto,']\n"
     ]
    }
   ],
   "source": [
    "Texto3_f=\"Tercera cadena de texto, veamos\"\n",
    "x3=re.findall(\"o$|^T|te...,\",Texto3_f)\n",
    "print(x3)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "61517caa",
   "metadata": {
    "id": "Hy_XWTdv1Y4U"
   },
   "source": [
    "### **Función *search()***"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7d6fa781",
   "metadata": {
    "id": "cH5sC2_I3Z4U"
   },
   "source": [
    "Esta función busca en la cadena una coincidencia y devuelve un *Match object* si existe.\n",
    "\n",
    " Si hay más de una coincidencia, solo se devolverá la primera coincidencia."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "id": "f8dd22b7",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "GT2UURuF26hD",
    "outputId": "bcf621c8-3237-4856-babd-57eddbe9925b"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<re.Match object; span=(6, 7), match='e'>\n",
      "Posicion del primer e que no está al inicio ni fin:  6\n"
     ]
    }
   ],
   "source": [
    "Texto1_s=\"eABC defgh IJK éí ae\"\n",
    "x1 = re.search(r\"\\Be\", Texto1_s)\n",
    "print(x1)\n",
    "print(\"Posicion del primer e que no está al inicio ni fin: \", x1.start()) "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "id": "73a93870",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "f3-mKETZ79XH",
    "outputId": "6a1f2636-c62b-4c55-e619-eba883d4ab6b"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<re.Match object; span=(3, 4), match=' '>\n",
      "Posición de primera cadena que no contiene digítos:  3\n"
     ]
    }
   ],
   "source": [
    "Texto2_s=\"123 ABC45 abc xyz\"\n",
    "x2 = re.search(\"\\D\", Texto2_s)\n",
    "print(x2)\n",
    "print(\"Posición de primera cadena que no contiene digítos: \", x2.start()) "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "88f9b00b",
   "metadata": {
    "id": "iqR89DfC-rFG"
   },
   "source": [
    "Igualmente que en los ejemplos de la función Findall(), se puede poner más de un patrón del que se espera coincidencia en la cadena de texto."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "id": "b9867673",
   "metadata": {
    "colab": {
     "base_uri": "https://localhost:8080/"
    },
    "id": "t5-mUHmr8r38",
    "outputId": "32dc0772-d772-4041-f3a7-7b22a112d052"
   },
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Posición primera en que hay un espacio en blanco o hay digítos:  0\n"
     ]
    }
   ],
   "source": [
    "Texto3_s=\"123 ABC45 abc xyz\"\n",
    "x3 = re.search(\"\\d|\\s\", Texto3_s)\n",
    "print(\"Posición primera en que hay un espacio en blanco o hay digítos: \", x3.start()) "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "03e18738",
   "metadata": {},
   "source": [
    "### **Función *split()***"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d5a053b4",
   "metadata": {},
   "source": [
    "Esta función busca el caracter y genera un corte de la cadena en las posiciones en donde se encuentra el caracter. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "id": "419da011",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '', '']\n"
     ]
    }
   ],
   "source": [
    "Texto1_sp=\"El bueno. El malo. Y el feo\"\n",
    "x1=re.split(\".\", Texto1_sp)\n",
    "print(x1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dbcd8f83",
   "metadata": {},
   "source": [
    "Por qué sucede esto? porque . es un metacaracter. Para que se cuente como un caracter normal, se puede usar \\[.\\] ó \\\\."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "880efb24",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['El bueno', ' El malo', ' Y el feo']\n"
     ]
    }
   ],
   "source": [
    "x1=re.split(\"\\.\", Texto1_sp)\n",
    "print(x1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "138e12fc",
   "metadata": {},
   "source": [
    "el caracter que se busca va a desaparecer durante el corto"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "id": "174e1e2b",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['El bu', 'no. El malo. Y ', 'l f', 'o']\n"
     ]
    }
   ],
   "source": [
    "x2=re.split('e', Texto1_sp)\n",
    "print(x2)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9b7e5b54",
   "metadata": {},
   "source": [
    "se puede decir el número máximo de separaciones"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 50,
   "id": "605c5de2",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['Sólo quiero cortar aquí', ' El resto no. Por favor no cortes más']\n"
     ]
    }
   ],
   "source": [
    "Texto2_sp='Sólo quiero cortar aquí. El resto no. Por favor no cortes más'\n",
    "x3=re.split('\\.', Texto2_sp, 1)\n",
    "print(x3)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5ce2fa94",
   "metadata": {},
   "source": [
    "### **Función *sub()***"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "389faa20",
   "metadata": {},
   "source": [
    "Con esta función podemos buscar un caracter en la cadena, y reemplazarlo con otro de nuestra elección"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "id": "aacdea24",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "vAmos A hAcer unos pequeños cAmbios.\n"
     ]
    }
   ],
   "source": [
    "Texto_1_sub='vamos a hacer unos pequeños cambios.'\n",
    "x1=re.sub('[a]', 'A', Texto_1_sub)\n",
    "print(x1)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b3c02685",
   "metadata": {},
   "source": [
    "Podemos usar las secuencias especiales para hacer restricciones a lo que reemplaza"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "id": "7c3e6f8a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Vamos V Vacer Vnos Vequeños Vambios.\n"
     ]
    }
   ],
   "source": [
    "x2=re.sub(r'\\b[a-z]', 'V', Texto_1_sub)\n",
    "print(x2)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3c8bc714",
   "metadata": {},
   "source": [
    "Igual que con split(), podemos reducir el número de veces en las que generamos el reemplazo."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 53,
   "id": "f3664e54",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "vamos V Vacer Vnos Vequeños Vambios.\n"
     ]
    }
   ],
   "source": [
    "x3=re.sub(r'\\bV', 'v', x2,1)\n",
    "print(x3)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "50eb179b",
   "metadata": {},
   "source": [
    "### **Flags**"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "456f777b",
   "metadata": {},
   "source": [
    "Python nos permite agregar aún más especificaciones a las anteriores funciones por medio del uso de `flags`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "255e9df9",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "El Prof. Enoch Bowen regresa de Egipto, mayo l844. Compra vieja iglesia\n",
      "Federal Hill en julio. Muy conocido por sus trabajos arqueológicos y estudios\n",
      "esotéricos.\n",
      "El Dr. Drowe, anabaptista, exhorta contra la «Sabiduría de las Estrellas» en el\n",
      "sermón del 29 de diciembre de 1844.\n",
      "97 fieles a finales de 1845.\n",
      "1846: 3 desapariciones;. primera mención del Trapezoedro Resplandeciente.\n",
      "7 desapariciones en 1848. Comienzo de rumores sobre sacrificios de sangre.\n",
      "La investigación de 1853 no conduce a nada; sólo ruidos sospechosos.\n",
      "El padre O'Malley habla del culto al demonio mediante caja hallada en las\n",
      "ruinas egipcias. Afirma invocan algo que no puede soportar la luz. Rehuye la luz\n",
      "suave y desaparece ante una luz fuerte. En este caso tiene que ser invocado otra vez.\n",
      "Probablemente lo sabe por la confesión de Francis X. Feeney en su lecho de muerte,\n",
      "que ingresó en la «Sabiduría de las Estrellas» en 1849. Esta gente afirma que el\n",
      "Trapezoedro Resplandeciente les muestra el cielo y los demás mundos, y que el\n",
      "Morador de las Tinieblas les revela ciertos secretos.\n",
      "Relato de Orrin B. Eddy; 1857: Invocan mirando al cristal y tienen un lenguaje\n",
      "secreto particular.\n",
      "Reun. de 200 ó más en 1863; sin contar a los que han marchado al frente.\n",
      "Muchachos irlandeses atacan la iglesia en 1869, después de la desaparición de\n",
      "Patrick Regan.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "love=open(\"Lovecraft.txt\",\"r\",encoding=\"utf-8\")\n",
    "morador=love.read()\n",
    "print(morador)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "26290e13",
   "metadata": {},
   "source": [
    "Ejecutando la siguiente búsqueda no se encuentran coincidencias ¿Por qué?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "d7542e43",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "None\n"
     ]
    }
   ],
   "source": [
    "print(re.search(r'^La investigación de 1853',morador))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "87e4c5d9",
   "metadata": {},
   "source": [
    "Usando `flags=re.M`podemos pedirle a Python que haga la búsqueda de coincidencias en modo multilinea"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "dbac8b3d",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "<re.Match object; span=(456, 480), match='La investigación de 1853'>\n"
     ]
    }
   ],
   "source": [
    "print(re.search(r'^La investigación de 1853',morador,flags=re.M))"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9105fec1",
   "metadata": {},
   "source": [
    "También podemos hacer búsquedas sin discriminar entre mayúsculas y minúsculas"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 82,
   "id": "e53cadd6",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[]\n",
      "['Egipto']\n"
     ]
    }
   ],
   "source": [
    "print(re.findall(r'egipto',morador))\n",
    "\n",
    "print(re.findall(r'egipto',morador,flags=re.I+re.M))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}