Taller_4/Taller 4 - Feature Engineering.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "<img src='https://encrypted-tbn0.gstatic.com/images?q=tbn%3AANd9GcQ-VfNtOyJbsaxu43Kztf_cv1mgBG6ZIQZEVw&usqp=CAU'>\n",
    "\n",
    "# Procesamiento de Lenguage Natural\n",
    "\n",
    "## Taller #4: Feature Engineering \n",
    "`Fecha de entrega: Septiembre 12, 2020. (Antes del inicio de la próxima clase).`\n",
    "\n",
    "`Modo de entrega: Subir link de GitHub al aula virtual.`\n",
    "\n",
    "### Jairo Iván Ordóñez\n",
    "#### Grupo 51"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re\n",
    "import pandas as pd\n",
    "\n",
    "from nltk.corpus import stopwords\n",
    "stopwords_sp = stopwords.words('spanish')\n",
    "\n",
    "from sklearn.feature_extraction.text import CountVectorizer"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Punto 1: Pre-Procesamiento\n",
    "\n",
    "- `[11 pts]` Leer el archivo `dialogos.csv` usando `pandas`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Locución</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>Francamente no</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>Lo del canadiense. Por favor, como que vosotro...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>Tienes razón. A lo mejor así te liberas de tu ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>Pues, tú sabrás</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>Para mí que fue Krieger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>954</td>\n",
       "      <td>Yo qué sé, digo yo qué será</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>955</td>\n",
       "      <td>Lo han entendido mal. Las joyas que venden en ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>956</td>\n",
       "      <td>Oooo... Me llamo Vivian</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>957</td>\n",
       "      <td>¿De dónde? ¿Del coño de tu madre?</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>958</td>\n",
       "      <td>Ah, sí esto podría funcionar</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>959 rows × 1 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                              Locución\n",
       "0                                       Francamente no\n",
       "1    Lo del canadiense. Por favor, como que vosotro...\n",
       "2    Tienes razón. A lo mejor así te liberas de tu ...\n",
       "3                                      Pues, tú sabrás\n",
       "4                              Para mí que fue Krieger\n",
       "..                                                 ...\n",
       "954                        Yo qué sé, digo yo qué será\n",
       "955  Lo han entendido mal. Las joyas que venden en ...\n",
       "956                            Oooo... Me llamo Vivian\n",
       "957                  ¿De dónde? ¿Del coño de tu madre?\n",
       "958                       Ah, sí esto podría funcionar\n",
       "\n",
       "[959 rows x 1 columns]"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "datos = pd.read_csv('./dialogos.csv')\n",
    "datos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "- `[11 pts]` Crear una nueva columna con el texto en minúscula, sin caracteres especiales ni números y sin palabras vacias"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "def concatenar_lista(lista):\n",
    "    cadena = \"\"\n",
    "    for elemento in lista:\n",
    "        cadena = cadena + \" \" + elemento\n",
    "    return cadena"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Locución</th>\n",
       "      <th>pre-procesado</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>Francamente no</td>\n",
       "      <td>francamente</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>Lo del canadiense. Por favor, como que vosotro...</td>\n",
       "      <td>canadiense favor tiraríais allí si pudieseis</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>Tienes razón. A lo mejor así te liberas de tu ...</td>\n",
       "      <td>razón mejor así liberas energía nagativa</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>Pues, tú sabrás</td>\n",
       "      <td>pues sabrás</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>Para mí que fue Krieger</td>\n",
       "      <td>krieger</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>954</td>\n",
       "      <td>Yo qué sé, digo yo qué será</td>\n",
       "      <td>sé digo</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>955</td>\n",
       "      <td>Lo han entendido mal. Las joyas que venden en ...</td>\n",
       "      <td>entendido mal joyas venden canales siquiera i...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>956</td>\n",
       "      <td>Oooo... Me llamo Vivian</td>\n",
       "      <td>oooo llamo vivian</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>957</td>\n",
       "      <td>¿De dónde? ¿Del coño de tu madre?</td>\n",
       "      <td>dónde coño madre</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>958</td>\n",
       "      <td>Ah, sí esto podría funcionar</td>\n",
       "      <td>ah podría funcionar</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>959 rows × 2 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "                                              Locución  \\\n",
       "0                                       Francamente no   \n",
       "1    Lo del canadiense. Por favor, como que vosotro...   \n",
       "2    Tienes razón. A lo mejor así te liberas de tu ...   \n",
       "3                                      Pues, tú sabrás   \n",
       "4                              Para mí que fue Krieger   \n",
       "..                                                 ...   \n",
       "954                        Yo qué sé, digo yo qué será   \n",
       "955  Lo han entendido mal. Las joyas que venden en ...   \n",
       "956                            Oooo... Me llamo Vivian   \n",
       "957                  ¿De dónde? ¿Del coño de tu madre?   \n",
       "958                       Ah, sí esto podría funcionar   \n",
       "\n",
       "                                         pre-procesado  \n",
       "0                                          francamente  \n",
       "1         canadiense favor tiraríais allí si pudieseis  \n",
       "2             razón mejor así liberas energía nagativa  \n",
       "3                                          pues sabrás  \n",
       "4                                              krieger  \n",
       "..                                                 ...  \n",
       "954                                            sé digo  \n",
       "955   entendido mal joyas venden canales siquiera i...  \n",
       "956                                  oooo llamo vivian  \n",
       "957                                   dónde coño madre  \n",
       "958                                ah podría funcionar  \n",
       "\n",
       "[959 rows x 2 columns]"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "datos['pre-procesado-1'] = [re.sub(r'[\\W\\d_]+',' ', str(frase)) for frase in datos['Locución'].str.lower()]\n",
    "datos['pre-procesado'] = \"\"\n",
    "\n",
    "for i,frase in enumerate(datos['pre-procesado-1']):\n",
    "    fraseProcesar = frase.split()\n",
    "    fraseProcesada = [palabra for palabra in fraseProcesar if palabra not in stopwords_sp]\n",
    "    datos['pre-procesado'][i] = concatenar_lista(fraseProcesada)\n",
    "datos = datos[['Locución','pre-procesado']]\n",
    "datos"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Punto 2: Representación vectorial\n",
    "\n",
    "- `[11 pts]` Crear una bolsa de palabras (BoW) del corpus usando la columna pre-procesada\n",
    "- `[11 pts]` ¿Cuántas palabras hay en el vocabulario? (Usando la función de `sklearn`)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "2115"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# BoW usando la columna pre-procesada\n",
    "count_vect = CountVectorizer()\n",
    "bow_Dialogo = count_vect.fit_transform(datos['pre-procesado'].values)\n",
    "len(count_vect.vocabulary_)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Punto 3: 🤔\n",
    "\n",
    "- `[3pts]` ¿En qué casos es buena idea tomar en la cuenta la frecuencia de las palabras para la bolsa de palabras?\n",
    "### Respuesta:\n",
    "En mi opinión, es importante ver las frecuencias de las palabras cuando se quiere identificar cuáles son las palabras más usadas dentro de un párrafo. Por ejemplo, cuando no se tiene cierto expertis en el texto que estamos procesando, podemos crear un histograma para saber cuáles son las palabras más representativas y comenzar a inferir el objetivo del mismo.\n",
    "\n",
    "\n",
    "- `[3pts]` ¿Cuándo es una mejor idea usar una bolsa de n-gramas en vez de una bolsa de palabras?\n",
    "### Respuesta:\n",
    "Si bien, poder contar cada una de las palabras es una técnica que ayuda mucho, también es importante saber el contexto y cuando tenemos una bolsa de palabras, empezamos a desconocer ese contexto. Por tal razón, si queremos conocer el contexto de lo que estamos procesando, sería mejor utilizar una bolsa de n-gramas que una de palabras.\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# BONUS Punto 4: 😜\n",
    "\n",
    "- `[1pt]` ¿A qué pertenecen los dialogos del primer punto? \n",
    "### Respuesta:\n",
    "Los diálogos pertenecen al episodio 08 de la temporada 16 de SouthPark que se llama SarcasmoBol."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}