code/5_Multi_class_Sentiment_Analysis.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "5 - Multi-class Sentiment Analysis",
      "provenance": [],
      "collapsed_sections": [],
      "authorship_tag": "ABX9TyM8ni/z0p7flfazuK1MkYeC",
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/happy-jihye/Natural-Language-Processing/blob/main/5_Multi_class_Sentiment_Analysis.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "26nADTPFDL6F"
      },
      "source": [
        "# 5 - Multi-class Sentiment Analysis\r\n",
        "\r\n",
        "- 이전까지의 튜토리얼에서는 positive(1)과 negative(0), 2개의 클래스만이 있는 dataset에 대해서 학습을 했습니다. 이 경우에는 모든 출력이 0과 1사이의 값으로 출력되었으며, 0.5이상에 대해서는 positive로, 0.5미만에 대해서는 negative로 분류했습니다.\r\n",
        "- 이번 튜토리얼에서는 여러 개의 클래스를 가진 데이터 세트에 대해 분류하는 법을 학습할 예정입니다.(6개의 클래스를 가진 데이터셋으로 모델을 훈련)\r\n",
        "\r\n",
        "\r\n",
        "---\r\n",
        "> 2021/03/18 Happy-jihye\r\n",
        "> \r\n",
        "> **Reference** : [pytorch-sentiment-analysis/5 - Multi-class Sentiment Analysis](https://github.com/bentrevett/pytorch-sentiment-analysis/blob/master/5%20-%20Multi-class%20Sentiment%20Analysis.ipynb)\r\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "L0jFZX0dEmMB"
      },
      "source": [
        "## 1. Preparing Data\r\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "2Lj415BkW090"
      },
      "source": [
        "!apt install python3.7\r\n",
        "!pip install torchtext==0.6.0\r\n",
        "!python -m spacy download en"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cn9QsVChE48-"
      },
      "source": [
        "import torch\r\n",
        "from torchtext import data\r\n",
        "\r\n",
        "TEXT = data.Field(tokenize = 'spacy',\r\n",
        "                  tokenizer_language = 'en')\r\n",
        "\r\n",
        "LABEL = data.LabelField()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_R9bRwoyIia9"
      },
      "source": [
        "### 1) [TREC Dataset](http://nlpprogress.com/english/text_classification.html)\r\n",
        "- torchtext.datasets의 [TREC](https://pytorch.org/text/_modules/torchtext/datasets/trec.html) 의 dataset은 질문 분류(question clasffication)용 데이터셋입니다.\r\n",
        "- **TEC-6**(6-클래스) 버전과 **TEC-50**(50-클래스) 버전이 있으며, 둘다 5,452개의 training examples과 500개의 test examples이 있습니다. 이번 노트북에서는 *fine_grained*를 *False*로 설정하여 6개의 클래스에 대해서만 질문 분류를 할 수 있도록 하였습니다.\r\n",
        "\r\n"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PadXXIFIKXg_"
      },
      "source": [
        "from torchtext import datasets\r\n",
        "import random\r\n",
        "import numpy as np\r\n",
        "\r\n",
        "SEED = 1234\r\n",
        "\r\n",
        "random.seed(SEED)\r\n",
        "np.random.seed(SEED)\r\n",
        "torch.manual_seed(SEED)\r\n",
        "torch.backends.cudnn.deterministic = True\r\n",
        "\r\n",
        "train_data, test_data = datasets.TREC.splits(TEXT, LABEL, fine_grained = False) #5452, 500\r\n",
        "train_data, valid_data = train_data.split(random_state = random.seed(SEED))"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "gK61YhDIMgPm",
        "outputId": "613b5ed8-daf9-4f9a-da28-980c9cbc0825"
      },
      "source": [
        "print(f'training examples 수 : {len(train_data)}')\r\n",
        "print(f'validations examples 수 : {len(valid_data)}')\r\n",
        "print(f'testing examples 수 : {len(test_data)}\\n')\r\n",
        "\r\n",
        "print(vars(train_data[-1]))"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "training examples 수 : 3816\n",
            "validations examples 수 : 1636\n",
            "testing examples 수 : 500\n",
            "\n",
            "{'text': ['What', 'is', 'a', 'Cartesian', 'Diver', '?'], 'label': 'DESC'}\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "sMQDknQkNKGY"
      },
      "source": [
        "### 2) Build Vocabulary and load the pre-trained word embeddings\r\n",
        "\r\n",
        "- **glove.6B.100** 의 학습된 임베딩 벡터를 사용합니다. \r\n",
        "- 이번 예제에서 사용하는 dataset은 크기가 매우 작기 때문에(training data : 약 3800개) 이 dataset의 vocabulary역시 매우 작습니다. (~7500 unique tokens) \r\n",
        "- 따라서 이전 예제들처럼 max_size를 지정하지 않아도 됩니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "L8r09NpIPPXH"
      },
      "source": [
        "TEXT.build_vocab(train_data, \r\n",
        "                 vectors = \"glove.6B.100d\",\r\n",
        "                 unk_init = torch.Tensor.normal_)\r\n",
        "\r\n",
        "LABEL.build_vocab(train_data)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "SnRLbdsMRKLX",
        "outputId": "86f8ac0e-62f2-4425-dd1f-642badcbb65d"
      },
      "source": [
        "print(f\"Unique tokens in TEXT vocabulary: {len(TEXT.vocab)}\")\r\n",
        "print(f\"Unique tokens in LABEL vocabulary: {len(LABEL.vocab)}\")"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Unique tokens in TEXT vocabulary: 7503\n",
            "Unique tokens in LABEL vocabulary: 6\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "oybKtNkWvdNp"
      },
      "source": [
        "**Label**\r\n",
        "\r\n",
        "- no-fine-grained case의 경우에는 총 6개의 label로 학습이 됩니다.\r\n",
        "- dataset에는 6개의 유형의 question label이 있습니다.\r\n",
        "  - HUM for questions about humans\r\n",
        "  - ENTY for questions about entities\r\n",
        "  - DESC for questions asking you for a description\r\n",
        "  - NUM for questions where the answer is numerical\r\n",
        "  - LOC for questions where the answer is a location\r\n",
        "  - ABBR for questions asking about abbreviations"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wb3sHeqqv4pj",
        "outputId": "21667cac-d9c0-4fb5-9962-435c714850f9"
      },
      "source": [
        "print(LABEL.vocab.stoi)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "defaultdict(None, {'HUM': 0, 'ENTY': 1, 'DESC': 2, 'NUM': 3, 'LOC': 4, 'ABBR': 5})\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "QucJLf94s9-q"
      },
      "source": [
        "### 3) Create the iterators"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Khgb9NUFYXXI"
      },
      "source": [
        "device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')\r\n",
        "\r\n",
        "BATCH_SIZE = 64\r\n",
        "\r\n",
        "train_iterator, valid_iterator, test_iterator = data.BucketIterator.splits(\r\n",
        "    (train_data, valid_data, test_data),\r\n",
        "    batch_size = BATCH_SIZE,\r\n",
        "    device = device\r\n",
        ")"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "SBtU7KsqZ12O"
      },
      "source": [
        "## 2. Build Model\r\n",
        "\r\n"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "WAKGyVOXwJmb"
      },
      "source": [
        "- [이전 튜토리얼(Convolutional Sentiment Analysis)](https://happy-jihye.github.io/nlp/4_Convolutional_Sentiment_Analysis)의 CNN model을 활용하여 다중 클래스를 분류하였습니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "EBwMi5S9YDoW"
      },
      "source": [
        "import torch.nn as nn\r\n",
        "import torch.nn.functional as F\r\n",
        "\r\n",
        "class CNN(nn.Module):\r\n",
        "  def __init__(self, vocab_size, embedding_dim,\r\n",
        "               n_filters, filter_sizes,\r\n",
        "               output_dim,\r\n",
        "               dropout, \r\n",
        "               pad_idx          #<pad> token\r\n",
        "               ): \r\n",
        "    \r\n",
        "    super().__init__()\r\n",
        "\r\n",
        "    self.embedding = nn.Embedding(vocab_size, embedding_dim, padding_idx = pad_idx)\r\n",
        "\r\n",
        "    self.convs = nn.ModuleList([\r\n",
        "                                nn.Conv2d(in_channels = 1,\r\n",
        "                                          out_channels = n_filters,\r\n",
        "                                          kernel_size = (fs, embedding_dim))\r\n",
        "                                for fs in filter_sizes\r\n",
        "    ])\r\n",
        "    \r\n",
        "    self.fc = nn.Linear(len(filter_sizes) * n_filters, output_dim)\r\n",
        "\r\n",
        "    self.dropout = nn.Dropout(dropout)\r\n",
        "\r\n",
        "  def forward(self, text):\r\n",
        "\r\n",
        "    # text = [sentence length, batch size]\r\n",
        "    ## 이번 예제에서는 batch_first를 true로 바꾼 후 학습하지 않았으므로 batch size가 두번째 인자입니다.\r\n",
        "\r\n",
        "    text = text.permute(1, 0)\r\n",
        "\r\n",
        "    # text = [batch size, sentence length]\r\n",
        "    ## RNN에서는 batch size의 입력을 두번째로 원하기 때문에 text가 [sentence length, batch size] 였다면,\r\n",
        "    ## CNN에서는 batch size를 먼저 입력받아야하기 때문에 batch_first를 True로 설정하여 이렇게 데이터를 구성해주었습니다.\r\n",
        "\r\n",
        "    embedded = self.embedding(text).unsqueeze(1) # 두번째 위치에 1인 차원을 추가\r\n",
        "\r\n",
        "    # embedded = [batch size, sentence length, embedding dim]\r\n",
        "    # unsquezzed_embedded = [batch size, 1, sentence length, embedding dim]\r\n",
        "\r\n",
        "    conved = [F.relu(conv(embedded).squeeze(3)) for conv in self.convs]\r\n",
        "\r\n",
        "    # conved_n = [batch size, n_filters, sentence length - filter_sizes[n] + 1]\r\n",
        "\r\n",
        "    pooled = [F.max_pool1d(conv, conv.shape[2]).squeeze(2) for conv in conved]\r\n",
        "\r\n",
        "    # pooled_n = [batch size, n_filters]\r\n",
        "\r\n",
        "    cat = self.dropout(torch.cat(pooled, dim = 1))\r\n",
        "\r\n",
        "    # cat = [batch_size, n_filters * len(filter_sizes)]\r\n",
        "\r\n",
        "    return self.fc(cat)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wACDu2Ncd55L"
      },
      "source": [
        "### Create an instance our CNN Class"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "niaRWlyAxo6E"
      },
      "source": [
        "- Multi-class 이므로 **OUTPUT_DIM**의 크기를 label의 개수로 설정해줍니다. 이 경우에는 6이 됩니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "XN_0DpCqgQNx"
      },
      "source": [
        "INPUT_DIM = len(TEXT.vocab)\r\n",
        "EMBEDDING_DIM = 100\r\n",
        "N_FILTERS = 100\r\n",
        "FILTER_SIZES = [2, 3, 4]\r\n",
        "OUTPUT_DIM = len(LABEL.vocab)\r\n",
        "DROPOUT = 0.5\r\n",
        "PAD_IDX = TEXT.vocab.stoi[TEXT.pad_token]\r\n",
        "\r\n",
        "model = CNN(INPUT_DIM, EMBEDDING_DIM, N_FILTERS, FILTER_SIZES, OUTPUT_DIM, DROPOUT, PAD_IDX)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "d6uSeSNhhdju",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "8a70300b-bc39-4961-a4b5-e511fed6c403"
      },
      "source": [
        "def count_parameters(model):\r\n",
        "    return sum(p.numel() for p in model.parameters() if p.requires_grad)\r\n",
        "\r\n",
        "print(f'The model has {count_parameters(model):,} trainable parameters')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "The model has 842,406 trainable parameters\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "p0id7ronsq5M"
      },
      "source": [
        "- pre-trained embeddings을 load합니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "wDNIyfG8XVbo",
        "outputId": "e571469b-b995-4a21-96af-1d469e3d2265"
      },
      "source": [
        "pretrained_embeddings = TEXT.vocab.vectors\r\n",
        "\r\n",
        "print(pretrained_embeddings.shape)\r\n",
        "model.embedding.weight.data.copy_(pretrained_embeddings)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "torch.Size([7503, 100])\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "tensor([[-0.1117, -0.4966,  0.1631,  ...,  1.2647, -0.2753, -0.1325],\n",
              "        [-0.8555, -0.7208,  1.3755,  ...,  0.0825, -1.1314,  0.3997],\n",
              "        [ 0.1638,  0.6046,  1.0789,  ..., -0.3140,  0.1844,  0.3624],\n",
              "        ...,\n",
              "        [-0.3110, -0.3398,  1.0308,  ...,  0.5317,  0.2836, -0.0640],\n",
              "        [ 0.0091,  0.2810,  0.7356,  ..., -0.7508,  0.8967, -0.7631],\n",
              "        [ 0.4306,  1.2011,  0.0873,  ...,  0.8817,  0.3722,  0.3458]])"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 27
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "l6YlSR57YSjl"
      },
      "source": [
        "- unknown token과 padding token은 embedding weight를 0으로 초기화합니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "HTzvOsVCXtvO",
        "outputId": "01123acb-e287-4b86-b20a-11e6b6d45f97"
      },
      "source": [
        "# PAD_IDX = TEXT.vocab.stoi[TEXT.pad_token] : 1\r\n",
        "UNK_IDX = TEXT.vocab.stoi[TEXT.unk_token] #0\r\n",
        "\r\n",
        "model.embedding.weight.data[UNK_IDX] = torch.zeros(EMBEDDING_DIM)\r\n",
        "model.embedding.weight.data[PAD_IDX] = torch.zeros(EMBEDDING_DIM)\r\n",
        "\r\n",
        "print(model.embedding.weight.data)"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "tensor([[ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],\n",
            "        [ 0.0000,  0.0000,  0.0000,  ...,  0.0000,  0.0000,  0.0000],\n",
            "        [ 0.1638,  0.6046,  1.0789,  ..., -0.3140,  0.1844,  0.3624],\n",
            "        ...,\n",
            "        [-0.3110, -0.3398,  1.0308,  ...,  0.5317,  0.2836, -0.0640],\n",
            "        [ 0.0091,  0.2810,  0.7356,  ..., -0.7508,  0.8967, -0.7631],\n",
            "        [ 0.4306,  1.2011,  0.0873,  ...,  0.8817,  0.3722,  0.3458]])\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "fy-6lg_HhfSb"
      },
      "source": [
        "## 3. Train the Model"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qtXPbSXchiIy"
      },
      "source": [
        "#### optimizer\r\n",
        "- **Adam** 를 이용해서 model을 update하였습니다.\r\n",
        "  - 이전 tutorial에서 사용했던 **SGD**는 동일한 학습속도로 parameter를 업데이트하기 때문에 학습속도를 선택하기 어렵지만, Adam은 각 매개변수에 대해 학습속도를 조정해주기 때문에 자주 학습되는 parameter에 낮은 learning rate를 update하고 자주 학습되지 않는 parameter에 높은 learning rate를 update할 수 있습니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "L0vLv4drhyXL"
      },
      "source": [
        "import torch.optim as optim\r\n",
        "\r\n",
        "optimizer =optim.Adam(model.parameters())"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "9XxWUCDih_0z"
      },
      "source": [
        "#### loss function\r\n",
        "- loss function 으로는 다중 분류를 위한 대표적인 손실함수 **cross entropy with logits**을 사용하였습니다.\r\n",
        "- 이전까지의 튜토리얼에서는 **BCEWithLogitsLoss**함수를 많이 사용했었는데, 이는 우리의 예제가 오직 2개의 클래스만을 분류하였기 때문입니다. BCEWithLogitsLoss는 보통 0과 1만 있는 binary class를 분류할 때 쓰이고, **CrossEntropyLoss**는 다중 클래스를 분류할 때 많이 사용합니다.\r\n",
        "- torch.nn.CrossEntropyLoss는 nn.LogSoftmax와 nn.NLLLoss의 연산의 조합입니다. 자세한 설명은 [이 링크](http://www.gisdeveloper.co.kr/?p=8668)를 참고하시면 좋을 것 같습니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "1A9f5ysXikuR"
      },
      "source": [
        "criterion = nn.CrossEntropyLoss()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ZosE0TCpis_9"
      },
      "source": [
        "# GPU\r\n",
        "model = model.to(device)\r\n",
        "criterion = criterion.to(device)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1w4aPDkeixl_"
      },
      "source": [
        "### Accuracy function\r\n",
        "\r\n",
        "- class의 개수가 여러개이므로 정확도를 측정하는 함수 역시 binary_accuracy 함수와는 다릅니다.\r\n",
        "- **argmax**함수를 이용하여 batch의 각 요소에 대한 prediction 최댓값의 index를 가져온 후에 이를 실제 label과 비교하여 정확도를 계산하였습니다.\r\n",
        "- 예를 들어 각 class에 대한 라벨링이 ['HUM' = 0, 'ENTY' = 1, 'DESC' = 2, 'NUM' = 3, 'LOC' = 4, 'ABBR' = 5]와 같이 되어있을 때, output값이 [5.1, 0.3, 0.1, 2.1, 0.2, 0.6]라면 우리의 model은 'HUM'이라고 예측할 것입니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ruGAS62rjQoy"
      },
      "source": [
        "\r\n",
        "def categorical_accuracy(preds, y):\r\n",
        "\r\n",
        "    top_pred = preds.argmax(1, keepdim = True)\r\n",
        "    correct = top_pred.eq(y.view_as(top_pred)).sum()\r\n",
        "    acc = correct.float() / y.shape[0]\r\n",
        "    return acc"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "E-Y-o_4kjkw2"
      },
      "source": [
        "### 1) Train"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "dLVdffp-jojk"
      },
      "source": [
        "def train(model, iterator, optimizer, criterion):\r\n",
        "\r\n",
        "  epoch_loss = 0\r\n",
        "  epoch_acc = 0\r\n",
        "\r\n",
        "  model.train()\r\n",
        "\r\n",
        "  for batch in iterator:\r\n",
        "\r\n",
        "    # 모든 batch마다 gradient를 0으로 초기화합니다.\r\n",
        "    optimizer.zero_grad()\r\n",
        "\r\n",
        "    # batch of sentences인 batch.text를 model에 입력합니다.\r\n",
        "    predictions = model(batch.text)\r\n",
        "\r\n",
        "    # prediction결과와 batch.label을 비교하여 loss값 계산합니다.\r\n",
        "    loss = criterion(predictions, batch.label)\r\n",
        "\r\n",
        "    # 정확도를 계산합니다.\r\n",
        "    acc = categorical_accuracy(predictions, batch.label)\r\n",
        "\r\n",
        "    # backward()를 사용하여 역전파 수행합니다.\r\n",
        "    loss.backward()\r\n",
        "\r\n",
        "    # 최적화 알고리즘을 사용하여 parameter를 update합니다.\r\n",
        "    optimizer.step()\r\n",
        "\r\n",
        "    epoch_loss += loss.item()\r\n",
        "    epoch_acc += acc.item()\r\n",
        "\r\n",
        "  return epoch_loss / len(iterator), epoch_acc / len(iterator)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "D7aRqf7Cl9pu"
      },
      "source": [
        "### 2) Evaluate"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "cBP2c1Q0mCXp"
      },
      "source": [
        "def evaluate(model, iterator, criterion):\r\n",
        "  epoch_loss = 0\r\n",
        "  epoch_acc = 0\r\n",
        "\r\n",
        "  # \"evaluation mode\" : dropout이나 batch nomalizaation을 끔\r\n",
        "  model.eval()\r\n",
        "\r\n",
        "  # pytorch에서 gradient가 계산되지 않도록 해서 memory를 적게 쓰고 computation 속도를 높임\r\n",
        "  with torch.no_grad():\r\n",
        "    \r\n",
        "    for batch in iterator :\r\n",
        "\r\n",
        "      predictions = model(batch.text).squeeze(1)\r\n",
        "      \r\n",
        "      loss = criterion(predictions, batch.label)\r\n",
        "      acc = categorical_accuracy(predictions, batch.label)\r\n",
        "\r\n",
        "      epoch_loss += loss.item()\r\n",
        "      epoch_acc += acc.item()\r\n",
        "\r\n",
        "  return epoch_loss / len(iterator), epoch_acc / len(iterator)"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "-wt3HQYEp3b2"
      },
      "source": [
        "- epoch 시간을 계산하기 위한 함수"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "erTMajygmvuo"
      },
      "source": [
        "import time\r\n",
        "\r\n",
        "def epoch_time(start_time, end_time):\r\n",
        "  elapsed_time = end_time - start_time\r\n",
        "  elapsed_mins = int(elapsed_time / 60)\r\n",
        "  elapsed_secs = int(elapsed_time - (elapsed_mins * 60))\r\n",
        "  return elapsed_mins, elapsed_secs"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "wTZ9k2EhvO_6"
      },
      "source": [
        "### Train the model through multiple epochs"
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Ju0pXT9Ls6rk"
      },
      "source": [
        "- 데이터 사이즈가 크지 않으므로 학습속도가 빠릅니다.\r\n",
        "- 정확도도 약 85%정도가 나오는 것으로 보아 이 모델이 괜찮은 성능을 내고 있음을 확인할 수 있습니다. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "DGrnQs4FnHtE",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "ac414398-c006-4396-92a3-67eeb268544d"
      },
      "source": [
        "\r\n",
        "N_EPOCHS = 5\r\n",
        "\r\n",
        "best_valid_loss = float('inf')\r\n",
        "\r\n",
        "for epoch in range(N_EPOCHS):\r\n",
        "\r\n",
        "    start_time = time.time()\r\n",
        "    \r\n",
        "    train_loss, train_acc = train(model, train_iterator, optimizer, criterion)\r\n",
        "    valid_loss, valid_acc = evaluate(model, valid_iterator, criterion)\r\n",
        "    \r\n",
        "    end_time = time.time()\r\n",
        "\r\n",
        "    epoch_mins, epoch_secs = epoch_time(start_time, end_time)\r\n",
        "    \r\n",
        "    if valid_loss < best_valid_loss:\r\n",
        "        best_valid_loss = valid_loss\r\n",
        "        torch.save(model.state_dict(), 'tut5-model.pt')\r\n",
        "    \r\n",
        "    print(f'Epoch: {epoch+1:02} | Epoch Time: {epoch_mins}m {epoch_secs}s')\r\n",
        "    print(f'\\tTrain Loss: {train_loss:.3f} | Train Acc: {train_acc*100:.2f}%')\r\n",
        "    print(f'\\t Val. Loss: {valid_loss:.3f} |  Val. Acc: {valid_acc*100:.2f}%')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Epoch: 01 | Epoch Time: 0m 0s\n",
            "\tTrain Loss: 0.294 | Train Acc: 91.03%\n",
            "\t Val. Loss: 0.470 |  Val. Acc: 84.02%\n",
            "Epoch: 02 | Epoch Time: 0m 0s\n",
            "\tTrain Loss: 0.211 | Train Acc: 94.76%\n",
            "\t Val. Loss: 0.457 |  Val. Acc: 83.25%\n",
            "Epoch: 03 | Epoch Time: 0m 0s\n",
            "\tTrain Loss: 0.173 | Train Acc: 95.55%\n",
            "\t Val. Loss: 0.438 |  Val. Acc: 84.38%\n",
            "Epoch: 04 | Epoch Time: 0m 0s\n",
            "\tTrain Loss: 0.137 | Train Acc: 96.57%\n",
            "\t Val. Loss: 0.431 |  Val. Acc: 85.69%\n",
            "Epoch: 05 | Epoch Time: 0m 0s\n",
            "\tTrain Loss: 0.100 | Train Acc: 97.79%\n",
            "\t Val. Loss: 0.428 |  Val. Acc: 85.33%\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nfCNhdYznr5l",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "356969ba-7588-4209-b3a8-6a5608f0fa7b"
      },
      "source": [
        "model.load_state_dict(torch.load('tut5-model.pt'))\r\n",
        "\r\n",
        "test_loss, test_acc = evaluate(model, test_iterator, criterion)\r\n",
        "\r\n",
        "print(f'Test Loss: {test_loss:.3f} | Test Acc: {test_acc*100:.2f}%')\r\n"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Test Loss: 0.337 | Test Acc: 87.53%\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "6LfVM9FTfD4w"
      },
      "source": [
        "## Test"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "svY4CHEafGRs",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "3629659e-99fe-445c-8e04-9a19e2cc9cc3"
      },
      "source": [
        "import torch\r\n",
        "model.load_state_dict(torch.load('tut5-model.pt'))"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "<All keys matched successfully>"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 42
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "1FU3nvOXjSmb"
      },
      "source": [
        "- 주어진 질문의 클래스를 예측하는 test sample을 만들었습니다."
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "G9j3KhgufHAs"
      },
      "source": [
        "import spacy\r\n",
        "nlp = spacy.load('en_core_web_sm')\r\n",
        "\r\n",
        "def predict_class(model, sentence, min_len = 4):\r\n",
        "    model.eval()\r\n",
        "    tokenized = [tok.text for tok in nlp.tokenizer(sentence)]\r\n",
        "    if len(tokenized) < min_len:\r\n",
        "        tokenized += ['<pad>'] * (min_len - len(tokenized))\r\n",
        "    indexed = [TEXT.vocab.stoi[t] for t in tokenized]\r\n",
        "    tensor = torch.LongTensor(indexed).to(device)\r\n",
        "    tensor = tensor.unsqueeze(1)\r\n",
        "    preds = model(tensor)\r\n",
        "    max_preds = preds.argmax(dim = 1)\r\n",
        "    return max_preds.item()"
      ],
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "f7VNWda9fHI3",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "cf1d90f9-a38b-463b-cf80-7037e81f8471"
      },
      "source": [
        "pred_class = predict_class(model, \"Who is Keyser Söze?\")\r\n",
        "print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Predicted class is: 0 = HUM\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CErm_c3affiW",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "abbfff28-a903-486f-d568-20052e49cc55"
      },
      "source": [
        "pred_class = predict_class(model, \"How many minutes are in six hundred and eighteen hours?\")\r\n",
        "print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Predicted class is: 3 = NUM\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "uWv1sugCfHP9",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "9ee6ce8f-2645-4b2a-da7a-67daf0fc7eea"
      },
      "source": [
        "pred_class = predict_class(model, \"What continent is Bulgaria in?\")\r\n",
        "print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Predicted class is: 4 = LOC\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Rxglj7sI1HUJ",
        "outputId": "88833243-2573-4cf8-ca71-3328ac90add4"
      },
      "source": [
        "pred_class = predict_class(model, \"What does WYSIWYG stand for?\")\r\n",
        "print(f'Predicted class is: {pred_class} = {LABEL.vocab.itos[pred_class]}')"
      ],
      "execution_count": null,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Predicted class is: 5 = ABBR\n"
          ],
          "name": "stdout"
        }
      ]
    }
  ]
}