classification/Gujarati_Classification_Model.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "from fastai.text import *\n",
    "import numpy as np\n",
    "from sklearn.model_selection import train_test_split\n",
    "import pickle\n",
    "import sentencepiece as spm\n",
    "import re\n",
    "import pdb"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "('1.0.57', '1.0.0')"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import fastai, torch\n",
    "fastai.__version__ , torch.__version__"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "torch.cuda.set_device(0)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "def random_seed(seed_value, use_cuda):\n",
    "    np.random.seed(seed_value)  \n",
    "    torch.manual_seed(seed_value)  \n",
    "    random.seed(seed_value)\n",
    "    if use_cuda:\n",
    "        torch.cuda.manual_seed(seed_value)\n",
    "        torch.cuda.manual_seed_all(seed_value)  \n",
    "        torch.backends.cudnn.deterministic = True\n",
    "        torch.backends.cudnn.benchmark = False"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "random_seed(42, True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "path = Path('./')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>સાડીમાં જ દેખાતી 'નાગિન 3' ની એક્ટ્રેસનો જુઓ બ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>business</td>\n",
       "      <td>નીરવ મોદીના જેકેટમાં એવુ શું છે ખાસ, જેની કિંમ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>business</td>\n",
       "      <td>નોટ નહી કરાવે ખોટઃશનિવાર અને રવિવાર બેન્કો ખુલ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>business</td>\n",
       "      <td>મોબાઇલ : ઇન્ટેક્સ કંપનીએ ઓછી કિંમતમાં લોન્ચ કર...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>business</td>\n",
       "      <td>એક જ નિર્ણયથી બદલાઈ ગઈ કિસ્મત, વર્ષભરમાં ફેમિલ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0                                                  1\n",
       "0  entertainment  સાડીમાં જ દેખાતી 'નાગિન 3' ની એક્ટ્રેસનો જુઓ બ...\n",
       "1       business  નીરવ મોદીના જેકેટમાં એવુ શું છે ખાસ, જેની કિંમ...\n",
       "2       business  નોટ નહી કરાવે ખોટઃશનિવાર અને રવિવાર બેન્કો ખુલ...\n",
       "3       business  મોબાઇલ : ઇન્ટેક્સ કંપનીએ ઓછી કિંમતમાં લોન્ચ કર...\n",
       "4       business  એક જ નિર્ણયથી બદલાઈ ગઈ કિસ્મત, વર્ષભરમાં ફેમિલ..."
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train = pd.read_csv(path/'../../classification_public_datasets/inltk-headlines/gu/gu-train.csv', header=None)\n",
    "df_train.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>business</td>\n",
       "      <td>અમદાવાદઃખેતરમાંથી સીધી હવે કેસર કેરી ગ્રાહકો સ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>#MeToo પર રહેમાને તોડી ચુપ્પી, આપ્યું આ નિવેદન</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>IPLમાં પરફોર્મ કરવા માટે રણવીર સિંહે માગી અધધ....</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>બિકીનીમાં બિચ પર જોવા મળી મલાઈકા, તસવીરો શેર ક...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>tech</td>\n",
       "      <td>હવે મોબાઇલથી ઘરે બેઠા કમાઇ શકો છો 40 હજાર રૂપિ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0                                                  1\n",
       "0       business  અમદાવાદઃખેતરમાંથી સીધી હવે કેસર કેરી ગ્રાહકો સ...\n",
       "1  entertainment     #MeToo પર રહેમાને તોડી ચુપ્પી, આપ્યું આ નિવેદન\n",
       "2  entertainment  IPLમાં પરફોર્મ કરવા માટે રણવીર સિંહે માગી અધધ....\n",
       "3  entertainment  બિકીનીમાં બિચ પર જોવા મળી મલાઈકા, તસવીરો શેર ક...\n",
       "4           tech  હવે મોબાઇલથી ઘરે બેઠા કમાઇ શકો છો 40 હજાર રૂપિ..."
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_valid = pd.read_csv(path/'../../classification_public_datasets/inltk-headlines/gu/gu-valid.csv', header=None)\n",
    "df_valid.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>0</th>\n",
       "      <th>1</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>business</td>\n",
       "      <td>કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>entertainment</td>\n",
       "      <td>નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ...</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "               0                                                  1\n",
       "0       business  કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...\n",
       "1  entertainment  PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...\n",
       "2  entertainment  રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...\n",
       "3  entertainment  આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...\n",
       "4  entertainment  નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ..."
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_test = pd.read_csv(path/'../../classification_public_datasets/inltk-headlines/gu/gu-test.csv', header=None)\n",
    "df_test.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "((5269, 2), (659, 2), (659, 2))"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train.shape, df_valid.shape, df_test.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "((0, 2), (0, 2), (0, 2))"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_train[df_train[0].isnull()].shape, df_valid[df_valid[0].isnull()].shape, df_test[df_test[0].isnull()].shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "label_cols = [0]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "class GujaratiTokenizer(BaseTokenizer):\n",
    "    def __init__(self, lang:str):\n",
    "        self.lang = lang\n",
    "        self.sp = spm.SentencePieceProcessor()\n",
    "        self.sp.Load(str('./../../models/gujarati/tokenizer/gujarati_lm.model'))\n",
    "        \n",
    "    def tokenizer(self, t:str) -> List[str]:\n",
    "        return self.sp.EncodeAsPieces(t)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "sp = spm.SentencePieceProcessor()\n",
    "sp.Load(str('./../../models/gujarati/tokenizer/gujarati_lm.model'))\n",
    "itos = [sp.IdToPiece(int(i)) for i in range(20000)]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['<unk>', '<s>', '</s>', '.', ',', '▁છે', '▁', '▁અને', 'ની', 'માં']"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "itos[:10]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "# 20,000 is the vocab size that we chose in sentencepiece\n",
    "gujarati_vocab = Vocab(itos)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenizer = Tokenizer(tok_func=GujaratiTokenizer, lang='gu')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['xxunk',\n",
       " 'xxpad',\n",
       " 'xxbos',\n",
       " 'xxeos',\n",
       " 'xxfld',\n",
       " 'xxmaj',\n",
       " 'xxup',\n",
       " 'xxrep',\n",
       " 'xxwrep']"
      ]
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tokenizer.special_cases"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_lm = TextLMDataBunch.from_df(path=path, train_df=df_train, valid_df=df_valid, test_df=df_test, tokenizer=tokenizer, vocab=gujarati_vocab, label_cols=label_cols)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>idx</th>\n",
       "      <th>text</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2 ▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો ▁x x bo s ▁શ્રી દેવી ના ▁રાજકીય ▁સન્માન ▁સાથે ▁અંતિમ ▁સંસ્કાર , &lt;unk&gt; ▁r t i માં ▁થયા ▁ખુલાસા ▁x x bo s ▁લોન ▁ફ્ર ો ડ ▁કેસમાં ▁ચંદ ા ▁કોચ ર ▁અને ▁વીડિયો</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>▁લાખ નું ▁વીમા ▁કવર ▁x x bo s &lt;unk&gt; ▁p a n ▁કાર્ડ ના ▁નિયમ માં ▁આજ થી ▁મોટો ▁ફેરફાર , ▁શરૂ ▁થઈ ▁એક ▁નવી ▁સેવા ▁x x bo s ▁પોતાનો ▁બિઝનેસ ▁કરવાની ▁તક , ▁માત્ર ▁રૂ . ▁5 99 માં ▁કોર્સ ▁કરાવે ▁છે ▁સરકાર ▁x x bo s ▁આ ▁6 ▁સ્ટે પ્સ ▁ફોલ ો ▁કરી ▁મોબાઇલ માં ▁ડાઉનલોડ ▁કરો &lt;unk&gt; ▁e - a ad ha ar ▁કાર્ડ ▁x x</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>્યા ▁સિતારા ઓ ▁x x bo s ▁આ ▁સરકારી ▁કંપની ▁સેલ રી ▁વગરના ▁લોકોને ▁પણ ▁આપશે ▁લોન ▁x x bo s &lt;unk&gt; ▁t v ની ▁' કિ ન્ન ર ▁વ હુ ' ▁છે ▁ઇન્ટરનેટ ▁સે ંસ ેશન , ▁ફરી ▁શેર ▁કરી ▁બોલ ્ડ ▁તસવીરો ▁x x bo s ▁દિવાળી ▁પહેલા ▁અહીં થી ▁બૂ ક ▁કરા વો ▁ટ્રેન ▁ટિકિટ , ▁મળશે ▁ભારે ▁ડિસ્ક ાઉ ન્ટ ▁x x bo s ▁સરકારી ▁બેન્કો</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>▁સફર ▁થશે ▁સરળ , ▁રેલવે ▁આપવા ▁જઈ ▁રહ્યું ▁છે ▁મોટી ▁ભેટ ▁x x bo s &lt;unk&gt; ▁r t o ની ▁આ ▁નવી ▁સિસ્ટમ થી ▁લાયસન્સ ની ▁સમસ્યા માં ▁મળશે ▁મુક્તિ ▁x x bo s ▁ફોર્બ્સ ▁ઈન્ ડીયા &lt;unk&gt; ▁w - p ow er &lt;unk&gt; ▁t ra il b la z ers ▁20 19 ▁ લિસ્ટ ! ▁પ્રિય ં કા ▁સહિત ▁આ ▁લોકોને ▁મળી ▁જગ્યા ▁x x bo s ▁આ ▁કાર</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>વી ' ▁ગુજરાત થી ▁લોન્ચ ▁કરશે ▁x x bo s ▁' બે સ્ટ ▁બંગાળ ' ▁બનવા ▁તરફ ▁અગ્રેસર ▁છે ▁વેસ્ટ ▁બંગાળ - ▁મુકેશ ▁અંબાણી ▁x x bo s ▁સાઉથ ની ▁આ ▁ફિલ્મમાં ▁વિલ ન ▁બનશે ▁અક્ષય ▁કુમાર ▁x x bo s ▁' સે ક્ર ેડ ▁ગેમ્સ ' ની ▁હિરો ઇ ને ▁શેર ▁કરી ▁બોલ ્ડ ▁તસવીરો , ▁વધાર ્યુ ▁ઇન્ટરનેટ નું ▁તાપમાન ▁x x bo s ▁રાંધણ ગે સના ▁વા</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_lm.show_batch()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "awd_lstm_config = awd_lstm_lm_config.copy()\n",
    "awd_lstm_config['n_hid'] = 1150\n",
    "learn = language_model_learner(data_lm, arch=AWD_LSTM, drop_mult=0.3, config=awd_lstm_config, pretrained=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(20000, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: LanguageLearner(data=TextLMDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: LMLabelList\n",
       ",,,,\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: LMTextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): AWD_LSTM(\n",
       "    (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "    (encoder_dp): EmbeddingDropout(\n",
       "      (emb): Embedding(20000, 400, padding_idx=1)\n",
       "    )\n",
       "    (rnns): ModuleList(\n",
       "      (0): WeightDropout(\n",
       "        (module): LSTM(400, 1150, batch_first=True)\n",
       "      )\n",
       "      (1): WeightDropout(\n",
       "        (module): LSTM(1150, 1150, batch_first=True)\n",
       "      )\n",
       "      (2): WeightDropout(\n",
       "        (module): LSTM(1150, 400, batch_first=True)\n",
       "      )\n",
       "    )\n",
       "    (input_dp): RNNDropout()\n",
       "    (hidden_dps): ModuleList(\n",
       "      (0): RNNDropout()\n",
       "      (1): RNNDropout()\n",
       "      (2): RNNDropout()\n",
       "    )\n",
       "  )\n",
       "  (1): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "  (2): LinearDecoder(\n",
       "    (decoder): Linear(in_features=400, out_features=20000, bias=True)\n",
       "    (output_dp): RNNDropout()\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Loading the pretrained language model on gujarati wikipedia\n",
    "learn.load('../../../models/gujarati/lm/ULMFiT/third_gu_lm', with_opt=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.freeze()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>5.154527</td>\n",
       "      <td>4.630753</td>\n",
       "      <td>0.310993</td>\n",
       "      <td>00:02</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.fit_one_cycle(1, 1e-1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.unfreeze()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3.937275</td>\n",
       "      <td>4.177046</td>\n",
       "      <td>0.367411</td>\n",
       "      <td>00:03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>3.508079</td>\n",
       "      <td>4.018711</td>\n",
       "      <td>0.391016</td>\n",
       "      <td>00:03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>3.068916</td>\n",
       "      <td>4.071922</td>\n",
       "      <td>0.390681</td>\n",
       "      <td>00:03</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.fit_one_cycle(3, 1e-2)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'શાહરૂખ ખાન સાથે ▁વિરાટ ▁લગ્ન ની ▁તસવીરો ▁મસ્ત ▁તસવીરો ▁x x bo s'"
      ]
     },
     "execution_count": 27,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.predict('શાહરૂખ ખાન સાથે',n_words=10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.save_encoder('fine_tuned_enc')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 29,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_clas = TextClasDataBunch.from_df(path=path, train_df=df_train, valid_df=df_valid, test_df=df_test, tokenizer=tokenizer, vocab=gujarati_vocab, label_cols=label_cols, bs=64)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th>text</th>\n",
       "      <th>target</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>▁x x bo s &lt;unk&gt; ▁t r a i l e r &lt;unk&gt; &lt;unk&gt; u t : ▁જુઓ ▁' z e r o ' માં ▁શાહરૂખ - ▁અનુ ષ્ કા ▁અને ▁સેક્સ ી ▁કે ટર િના નું &lt;unk&gt; ▁l o v e &lt;unk&gt; ▁t r i a n g l e</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s &lt;unk&gt; ▁j i o ની &lt;unk&gt; ▁h a p p y &lt;unk&gt; ▁n e w ▁ y e a r &lt;unk&gt; &lt;unk&gt; f f e r , ▁3 99 ના ▁રિ ચાર્જ ▁પર ▁મેળવ ો ▁ 100% ▁કેશ બેક</td>\n",
       "      <td>tech</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s &lt;unk&gt; ka &lt;unk&gt; ▁c hu p pi ▁bo x &lt;unk&gt; &lt;unk&gt; f f ice &lt;unk&gt; ▁d a y ▁1 : ▁જાણ ો ▁કેટલું ▁કમ ાઇ ▁ક્રિ તી - કાર ્તિ ક ની ▁હટ ▁કે ▁ફિલ્મ ▁?</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s &lt;unk&gt; ▁v i d e o : ▁ઉર્ મિ લા ▁બાદ ▁હવે ▁એ લી એ ▁કહ્યું , ▁' છ મ્મા ▁છ મ્મા ' , ▁એક્ટ ્રે સે ▁લગાવ ્યા ▁હોટ ને સ નાં ▁તડક ા</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>▁x x bo s ▁100 ▁કરોડ ને ▁પાર ▁' g ul ly ▁bo y ' , ▁અ જય ▁દેવ ગણ નું ▁bo x &lt;unk&gt; &lt;unk&gt; f f ice ▁પર ▁' t o tal &lt;unk&gt; ▁d ha ma al '</td>\n",
       "      <td>entertainment</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "data_clas.show_batch()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "del awd_lstm_config['tie_weights']\n",
    "del awd_lstm_config['out_bias']"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn = text_classifier_learner(data_clas, arch=AWD_LSTM, drop_mult=0.5, config=awd_lstm_config)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {
    "scrolled": true
   },
   "outputs": [
    {
     "data": {
      "text/plain": [
       "RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[<function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=False)"
      ]
     },
     "execution_count": 33,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.load_encoder('fine_tuned_enc')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.freeze()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "CrossEntropyLoss()"
      ]
     },
     "execution_count": 35,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.loss_func.func"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "mcc = MatthewsCorreff()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.metrics = [mcc, accuracy]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>matthews_correff</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.435427</td>\n",
       "      <td>0.365192</td>\n",
       "      <td>0.760815</td>\n",
       "      <td>0.848255</td>\n",
       "      <td>00:02</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.fit_one_cycle(1, 1e-2, moms=(0.8,0.7))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>matthews_correff</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.356509</td>\n",
       "      <td>0.319702</td>\n",
       "      <td>0.811491</td>\n",
       "      <td>0.880121</td>\n",
       "      <td>00:02</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "learn.freeze_to(-2)\n",
    "learn.fit_one_cycle(1, slice(1e-2/(2.6**4),1e-2), moms=(0.8,0.7))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [],
   "source": [
    "learn.save('second-full')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)"
      ]
     },
     "execution_count": 41,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.load('second-full')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: left;\">\n",
       "      <th>epoch</th>\n",
       "      <th>train_loss</th>\n",
       "      <th>valid_loss</th>\n",
       "      <th>matthews_correff</th>\n",
       "      <th>accuracy</th>\n",
       "      <th>time</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>0.278074</td>\n",
       "      <td>0.322069</td>\n",
       "      <td>0.815937</td>\n",
       "      <td>0.883156</td>\n",
       "      <td>00:03</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>0.300221</td>\n",
       "      <td>0.406313</td>\n",
       "      <td>0.781171</td>\n",
       "      <td>0.855842</td>\n",
       "      <td>00:04</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>0.267469</td>\n",
       "      <td>0.332663</td>\n",
       "      <td>0.811253</td>\n",
       "      <td>0.875569</td>\n",
       "      <td>00:04</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>0.158088</td>\n",
       "      <td>0.287722</td>\n",
       "      <td>0.844647</td>\n",
       "      <td>0.901366</td>\n",
       "      <td>00:04</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>0.083021</td>\n",
       "      <td>0.303938</td>\n",
       "      <td>0.846849</td>\n",
       "      <td>0.902883</td>\n",
       "      <td>00:04</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>"
      ],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Better model found at epoch 0 with accuracy value: 0.8831562995910645.\n",
      "Better model found at epoch 3 with accuracy value: 0.9013656973838806.\n",
      "Better model found at epoch 4 with accuracy value: 0.9028831720352173.\n"
     ]
    }
   ],
   "source": [
    "learn.unfreeze()\n",
    "learn.fit_one_cycle(5, 1e-2, callbacks=[callbacks.SaveModelCallback(learn, every='improvement', monitor='accuracy', name='final')])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[RNNTrainer\n",
       "learn: RNNLearner(data=TextClasDataBunch;\n",
       "\n",
       "Train: LabelList (5269 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁સાડી માં ▁જ ▁દેખાતી ▁' ના ગ િન ▁3 ' ▁ની ▁એક્ટ ્રે સ નો ▁જુઓ ▁બોલ ્ડ ▁અવતાર,▁x x bo s ▁ની ર વ ▁મોદી ના ▁જે કેટ માં ▁એવુ ▁શું ▁છે ▁ખાસ , ▁જેની ▁કિંમત ▁છે ▁આઠ ▁લાખ ▁રૂપિયા,▁x x bo s ▁નોટ ▁નહી ▁કરાવે ▁ખોટ ઃ શ નિ વાર ▁અને ▁રવિવાર ▁બેન્કો ▁ખુલ્લી ▁રહેશે,▁x x bo s ▁મોબાઇલ ▁: ▁ઇન્ ટેક્સ ▁કંપનીએ ▁ઓછી ▁કિંમત માં ▁લોન્ચ ▁કર્યો ▁એક ્વા ▁એ યર ▁2,▁x x bo s ▁એક ▁જ ▁નિર્ણય થી ▁બદલાઈ ▁ગઈ ▁કિ સ્ મત , ▁વર્ષ ભર માં ▁ફેમિલી ને ▁કરાવ્યો ▁કરોડો નો ▁ફાયદો\n",
       "y: CategoryList\n",
       "entertainment,business,business,business,business\n",
       "Path: .;\n",
       "\n",
       "Valid: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁અમદાવાદ ઃ ખેત ર માંથી ▁સીધી ▁હવે ▁કેસર ▁કેરી ▁ગ્રાહકો ▁સુધી ▁પહોચ શે , મે યર ે ▁કેરી ▁મહોત્સવ ▁ખુલ્લો ▁મુક્યો,▁x x bo s ▁ <unk> ▁me t o o ▁પર ▁રહેમાન ે ▁તોડી ▁ચુ પ્પી , ▁આપ્યું ▁આ ▁નિવેદન,▁x x bo s <unk> <unk> l માં ▁પર ફોર્મ ▁કરવા ▁માટે ▁રણ વીર ▁સિંહ ે ▁માગી ▁અધ ધ . . . ર કમ,▁x x bo s ▁બિ કી ની માં ▁બિ ચ ▁પર ▁જોવા ▁મળી ▁મ લાઈ કા , ▁તસવીરો ▁શેર ▁કરતાં ▁જ ▁થઈ ▁ટ્રો લ,▁x x bo s ▁હવે ▁મોબાઇલ થી ▁ઘરે ▁બેઠા ▁કમ ાઇ ▁શકો ▁છો ▁40 ▁હજાર ▁રૂપિયા , ▁બસ ▁કરવાનું ▁છે ▁આ ▁કામ\n",
       "y: CategoryList\n",
       "business,entertainment,entertainment,entertainment,tech\n",
       "Path: .;\n",
       "\n",
       "Test: LabelList (659 items)\n",
       "x: TextList\n",
       "▁x x bo s ▁કેપ્ટન ▁વિરાટ ▁કોહલી નો ▁નવો ▁રેકોર્ડ , ▁પ ્યૂ મા ▁સાથે ▁કરી ▁100 ▁કરોડ ની ▁ડી લ,▁x x bo s <unk> ▁p h o t o s : ▁દેવ ▁દિવાળી ▁ઉજવવા ▁બનારસ ▁પહોંચ્યો ▁અનિલ ▁કપૂર , ▁ઉતારી ▁ગંગા ▁આરતી,▁x x bo s ▁રીત િક ▁રોશન ે ▁પૂર્વ ▁પત્ની ▁સુ ઝે ન ▁અને ▁બાળકો ▁સાથે ▁કર્યું ▁લ ંચ , ▁તસવીરો,▁x x bo s ▁આ ▁ટીવી ▁એક ટ્રે સે ▁પિ ંક ▁સ્ક ર્ટ માં ▁કરાવ્યું ▁હોટ ▁ફોટો શ ૂટ , ▁જુઓ <unk> ▁p h o t o s,▁x x bo s ▁ નિક ▁સાથે ▁વે ક ેશન ▁એન્જ ો ય ▁કરવા ▁જંગલમાં ▁નીકળી ▁પ્રિય ં કા ▁ચો પડા\n",
       "y: EmptyLabelList\n",
       ",,,,\n",
       "Path: ., model=SequentialRNN(\n",
       "  (0): MultiBatchEncoder(\n",
       "    (module): AWD_LSTM(\n",
       "      (encoder): Embedding(20000, 400, padding_idx=1)\n",
       "      (encoder_dp): EmbeddingDropout(\n",
       "        (emb): Embedding(20000, 400, padding_idx=1)\n",
       "      )\n",
       "      (rnns): ModuleList(\n",
       "        (0): WeightDropout(\n",
       "          (module): LSTM(400, 1150, batch_first=True)\n",
       "        )\n",
       "        (1): WeightDropout(\n",
       "          (module): LSTM(1150, 1150, batch_first=True)\n",
       "        )\n",
       "        (2): WeightDropout(\n",
       "          (module): LSTM(1150, 400, batch_first=True)\n",
       "        )\n",
       "      )\n",
       "      (input_dp): RNNDropout()\n",
       "      (hidden_dps): ModuleList(\n",
       "        (0): RNNDropout()\n",
       "        (1): RNNDropout()\n",
       "        (2): RNNDropout()\n",
       "      )\n",
       "    )\n",
       "  )\n",
       "  (1): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       "), opt_func=functools.partial(<class 'torch.optim.adam.Adam'>, betas=(0.9, 0.99)), loss_func=FlattenedLoss of CrossEntropyLoss(), metrics=[MatthewsCorreff(), <function accuracy at 0x7fd2e318cc80>], true_wd=True, bn_wd=True, wd=0.01, train_bn=True, path=PosixPath('.'), model_dir='models', callback_fns=[functools.partial(<class 'fastai.basic_train.Recorder'>, add_time=True, silent=False)], callbacks=[...], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)\n",
       "alpha: 2.0\n",
       "beta: 1.0], layer_groups=[Sequential(\n",
       "  (0): Embedding(20000, 400, padding_idx=1)\n",
       "  (1): EmbeddingDropout(\n",
       "    (emb): Embedding(20000, 400, padding_idx=1)\n",
       "  )\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(400, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 1150, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): WeightDropout(\n",
       "    (module): LSTM(1150, 400, batch_first=True)\n",
       "  )\n",
       "  (1): RNNDropout()\n",
       "), Sequential(\n",
       "  (0): PoolingLinearClassifier(\n",
       "    (layers): Sequential(\n",
       "      (0): BatchNorm1d(1200, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (1): Dropout(p=0.05)\n",
       "      (2): Linear(in_features=1200, out_features=50, bias=True)\n",
       "      (3): ReLU(inplace)\n",
       "      (4): BatchNorm1d(50, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)\n",
       "      (5): Dropout(p=0.1)\n",
       "      (6): Linear(in_features=50, out_features=3, bias=True)\n",
       "    )\n",
       "  )\n",
       ")], add_time=True, silent=False, cb_fns_registered=True)"
      ]
     },
     "execution_count": 43,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "learn.load('final')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [],
      "text/plain": [
       "<IPython.core.display.HTML object>"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>query</th>\n",
       "      <th>actual_label</th>\n",
       "      <th>predicted_label</th>\n",
       "      <th>entertainment</th>\n",
       "      <th>business</th>\n",
       "      <th>tech</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...</td>\n",
       "      <td>business</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.924326</td>\n",
       "      <td>0.0745986</td>\n",
       "      <td>0.00107536</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.994324</td>\n",
       "      <td>0.00502926</td>\n",
       "      <td>0.00064698</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.999908</td>\n",
       "      <td>4.33667e-05</td>\n",
       "      <td>4.83844e-05</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.992052</td>\n",
       "      <td>0.000801404</td>\n",
       "      <td>0.00714644</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ...</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>entertainment</td>\n",
       "      <td>0.997707</td>\n",
       "      <td>0.00145707</td>\n",
       "      <td>0.000836223</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                               query   actual_label  \\\n",
       "0  કેપ્ટન વિરાટ કોહલીનો નવો રેકોર્ડ, પ્યૂમા સાથે ...       business   \n",
       "1  PHOTOS: દેવ દિવાળી ઉજવવા બનારસ પહોંચ્યો અનિલ ક...  entertainment   \n",
       "2  રીતિક રોશને પૂર્વ પત્ની સુઝેન અને બાળકો સાથે ક...  entertainment   \n",
       "3  આ ટીવી એકટ્રેસે પિંક સ્કર્ટમાં કરાવ્યું હોટ ફો...  entertainment   \n",
       "4  નિક સાથે વેકેશન એન્જોય કરવા જંગલમાં નીકળી પ્રિ...  entertainment   \n",
       "\n",
       "  predicted_label entertainment     business         tech  \n",
       "0   entertainment      0.924326    0.0745986   0.00107536  \n",
       "1   entertainment      0.994324   0.00502926   0.00064698  \n",
       "2   entertainment      0.999908  4.33667e-05  4.83844e-05  \n",
       "3   entertainment      0.992052  0.000801404   0.00714644  \n",
       "4   entertainment      0.997707   0.00145707  0.000836223  "
      ]
     },
     "execution_count": 44,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from sklearn.metrics import accuracy_score, matthews_corrcoef\n",
    "df_dict = {'query': list(df_test[1]), 'actual_label': list(df_test[0]), 'predicted_label': ['']*df_test.shape[0]}\n",
    "all_nodes = list(set(df_train[0]))\n",
    "for node in all_nodes:\n",
    "    df_dict[node] = ['']*df_test.shape[0]\n",
    "    \n",
    "i2c = {}\n",
    "for key, value in learn.data.c2i.items():\n",
    "    i2c[value] = key\n",
    "    \n",
    "df_result = pd.DataFrame(df_dict)\n",
    "preds = learn.get_preds(ds_type=DatasetType.Test, ordered=True)\n",
    "for index, row in df_result.iterrows():\n",
    "    for node in all_nodes:\n",
    "        row[node] = preds[0][index][learn.data.c2i[node]].item()\n",
    "    row['predicted_label'] = i2c[np.argmax(preds[0][index]).data.item()]\n",
    "df_result.head()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.9104704097116844"
      ]
     },
     "execution_count": 45,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "accuracy_score(df_result['actual_label'], df_result['predicted_label'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "0.8608728816456005"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "matthews_corrcoef(df_result['actual_label'], df_result['predicted_label'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [],
   "source": [
    "df_result.to_csv('inltk_headlines_gu.csv', index=False)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "in",
   "language": "python",
   "name": "in"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}