examples/Data Augmentation.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Spanish NLP: Data Augmentation Notebook\n",
    "\n",
    "For more information visit [spanish_nlp](https://github.com/jorgeortizfuentes/spanish_nlp) repository on GitHub."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Available models\n",
    "\n",
    "| **Models**               | **Methods**             | **Name to load**  |\n",
    "|--------------------------|-------------------------|-------------------|\n",
    "| Spelling augmentation    | Keyboard spelling       | keyboard          |\n",
    "|                          | OCR spelling            | ocr               |\n",
    "|                          | Random spelling         | random            |\n",
    "|                          | Grapheme spelling       | grapheme_spelling |\n",
    "|                          | Word spelling           | word_spelling     |\n",
    "|                          | Remove punctuation      | remove_punctuation|\n",
    "|                          | Remove spaces           | remove_spaces     |\n",
    "|                          | Remove accents          | remove_accents    |\n",
    "|                          | Lowercase               | lowercase         |\n",
    "|                          | Uppercase               | uppercase         |\n",
    "|                          | Randomcase              | randomcase        |\n",
    "|                          | Combine all methods     | all               | \n",
    "| Masked augmentation      | Sustitute words         | sustitute         |\n",
    "|                          | Insert words            | insert            |\n",
    "| Synonyms                 | Pending development     |                   |\n",
    "| WordEmbeddings           | Pending development     |                   |\n",
    "| GenerativeOpenSource     | Pending development     |                   |\n",
    "| GenerativeOpenAI         | Pending development     |                   |\n",
    "| BackTranslation          | Pending development     |                   |\n",
    "| AbstractiveSummarization | Pending development     |                   |\n",
    "\n",
    "\n",
    "Others models are under development (such as Synonyms, WordEmbeddings, GenerativeOpenSource, GenerativeOpenAI, BackTranslation, AbstractiveSummarization)\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Quick usage"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "from spanish_nlp import augmentation\n",
    "\n",
    "text = \"En aquel tiempo yo tenía veinte años y estaba loco. Había perdido un país pero había ganado un sueño. Y si tenía ese sueño lo demás no importaba. Ni trabajar ni rezar ni estudiar en la madrugada junto a los perros románticos.\"\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "En aquel tiempo yo tenía veinte años y estaba loco. Había perdido un país pero había ganado un sueño. Y si tenía ese sueño lo demás no importaba. Ni trabajar ni rezar ni estudiar en la madrugada junto a los perros románticos.\n",
      "---\n",
      "['En a9uel tiempo yo tenía veint3 años y e8ta8a 1oco. Había Rerd1dQ un RaíB pePQ había ganado Vn su3ño. Y si tenía es3 BVeno lo 0emáB n0 iWRQPtaEa. N1 trabajar ni rezar ni 3s7ud1ar en la maOrVga0a junto a 1os p3rPo8 Pománt1Go5.']\n",
      "---\n",
      "['Em akel tiempo yo tenía veinte años y estaba loco. Había perdido un país pero  abía janado um sueño. Y si temía ese sueño lo demás no importava. Ni trabajar ni rezar ni estudiar em la nadrugada junto a los perros románticos.']\n",
      "---\n",
      "['En aquel tiempo yo tenía veinte años y estaba loco. Había perdido un país pero había ganado un sueño. Y si tenía mi sueño lo demás no importaba. ni trabajar ni rezar ni estudiar en la madrugada junto a los clubes románticos.']\n",
      "---\n"
     ]
    }
   ],
   "source": [
    "from spanish_nlp import augmentation\n",
    "\n",
    "ocr = augmentation.Spelling(method=\"ocr\", \n",
    "                            stopwords=\"default\", \n",
    "                            aug_percent=0.3, \n",
    "                            tokenizer=\"default\")\n",
    "\n",
    "grapheme_spelling = augmentation.Spelling(method=\"grapheme_spelling\", \n",
    "                                          stopwords=\"default\", \n",
    "                                          aug_percent=0.3, \n",
    "                                          tokenizer=\"default\")\n",
    "\n",
    "masked_sustitute = augmentation.Masked(method=\"sustitute\", \n",
    "                                       model=\"dccuchile/bert-base-spanish-wwm-cased\",\n",
    "                                       tokenizer=\"default\",\n",
    "                                       stopwords=\"default\",\n",
    "                                       aug_percent=0.4,\n",
    "                                       device=\"cpu\",\n",
    "                                       top_k=10)\n",
    "\n",
    "\n",
    "new_texts = [text]\n",
    "new_texts.append(ocr.augment(text, num_samples=1, num_workers=1))\n",
    "new_texts.append(grapheme_spelling.augment(text, num_samples=1, num_workers=1))\n",
    "new_texts.append(masked_sustitute.augment(text, num_samples=1))\n",
    "\n",
    "for t in new_texts:\n",
    "    print(t)\n",
    "    print(\"---\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aquel tiempo yo tebía vrimte años u esgaba llcl. Hanía legwido un país pero había bahado un sueño. Y zi tenía eae sueño lo srmás jk jjporgava. Ni tgabajqr ni dsxsr jl eqthdiar en lz msdfjgada nubti a los ñrrros glmájticls.']"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "keyboard = augmentation.Spelling(method=\"keyboard\", \n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.3, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "keyboard.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aqueI 7iemRo Vo tenía v3inte años y 3staba loGo. Había Rerdido Vn país perQ había ganaOQ un sueño. Y si 7enía 3se sueñ0 1o d3más no iWRQr7aEa. Ni trabajaP ni rezar ni 3s7u0iaP en la madrVgada Lunto a lo8 RePros rQWántlG0s.']"
      ]
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "ocr = augmentation.Spelling(method=\"ocr\", \n",
    "                            stopwords=\"default\", \n",
    "                            aug_percent=0.3, \n",
    "                            tokenizer=\"default\")\n",
    "\n",
    "ocr.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aquel tiemyo yo tenía veinte años 5 estaba loco. Había perdido un país pero había ganado un sueño. Y si thn5a ese sueño lo demás no importaba. Ni tPabajar ni rezar ni Astudiar en la madru9aóa junto a los perros románticos.']"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "random = augmentation.Spelling(method=\"random\",\n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.05, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "random.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aquel tiempo yo tenía veinte años y estava loco. Había perdido un país pero  avía ganado un sueño. Y si tenía ese sueño lo denás mo inportaba. Ni travajar ni resar mi estudiar en la madrugada junto a los perros románticos.']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "grapheme_spelling = augmentation.Spelling(method=\"grapheme_spelling\", \n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.3, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "grapheme_spelling.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "2\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "['por favor, no creo q haya nada mas importante q la libertad de expresion']"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "word_spelling = augmentation.Spelling(method=\"word_spelling\", \n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.3, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "text2 = \"por favor, no creo que haya nada mas importante que la libertad de expresion\"\n",
    "word_spelling.augment(text2, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aquel tiempo yo tenía veinte años y estaba loco Había perdido un país pero había ganado un sueño Y si tenía ese sueño lo demás no importaba. Ni trabajar ni rezar ni estudiar en la madrugada junto a los perros románticos.']"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "remove_punctuation = augmentation.Spelling(method=\"remove_punctuation\",\n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.5, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "remove_punctuation.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aquel tiempo yo tenia veinte años y estaba loco. Había perdido un pais pero habia ganado un sueño. Y si tenía ese sueño lo demás no importaba. Ni trabajar ni rezar ni estudiar en la madrugada junto a los perros romanticos.']"
      ]
     },
     "execution_count": 21,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "remove_accents = augmentation.Spelling(method=\"remove_accents\",\n",
    "                                       stopwords=\"default\", \n",
    "                                       aug_percent=0.5, \n",
    "                                       tokenizer=\"default\")\n",
    "\n",
    "remove_accents.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['En aquel tiempo yo tenía veinte años y estaba loco. había perdido un país pero había ganado un sueño. y si tenía ese sueño lo demás no importaba. Ni trabajar ni rezar ni estudiar en la madrugada junto a los perros románticos.']"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "lowercase = augmentation.Spelling(method=\"lowercase\",\n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.3, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "lowercase.augment(text, num_samples=1)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['EN aquel tiempo YO tenía veinte años y estaba loco. HABÍA perdido un país PERO había ganado un sueño. Y si tenía ese sueño lo demás no importaba. Ni trabajar ni rezar ni estudiar en la madrugada junto a los perros románticos.']"
      ]
     },
     "execution_count": 23,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "uppercase = augmentation.Spelling(method=\"uppercase\",\n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.1, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "uppercase.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['en aquel tiempo yo tenía VEINTE años Y estaba loco. había PERDIDO un país pero había GANADO un sueño. y si TENÍA ese sueño LO DEMÁS no importaba. ni trabajar NI REZAR ni estudiar en la madrugada junto a los perros románticos.']"
      ]
     },
     "execution_count": 24,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "randomcase = augmentation.Spelling(method=\"randomcase\",\n",
    "                                    stopwords=\"default\", \n",
    "                                    aug_percent=0.3, \n",
    "                                    tokenizer=\"default\")\n",
    "\n",
    "randomcase.augment(text, num_samples=1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['en aquel tiempo yo tenía veinte años y estxba loco. había perdido un país pero había ganado un sueño y si tenia ese sueño lo demás no importxba. ni trabajar ni rezar ni estudiar en la madrugada jumto a los perrés románticos.']"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "all = augmentation.Spelling(method=\"all\", \n",
    "                            stopwords=\"default\", \n",
    "                            aug_percent=0.1, \n",
    "                            tokenizer=\"default\")\n",
    "\n",
    "all.augment(text, num_samples=1)"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "py310",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.10"
  },
  "orig_nbformat": 4,
  "vscode": {
   "interpreter": {
    "hash": "d1a940d2a5a085e4f840c6fa90dace1e4a81d9a7fba180f0fcbb4947149ff9d2"
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}