fancim.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "fancim.ipynb",
      "provenance": [],
      "collapsed_sections": [
        "_8-sGt_uNyEC",
        "PU3bIa5SmZaL",
        "bQO51M4riM0W",
        "wQSU6qPrsbxw",
        "FTASBxLRctIe",
        "5pMElnTSij2m",
        "Qc1sooNo9UMU",
        "JQbovdlS63HK"
      ],
      "include_colab_link": true
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    },
    "accelerator": "GPU"
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/6mini/fancim-project/blob/main/fancim.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# KoBERT를 위한 환경 설정"
      ],
      "metadata": {
        "id": "_8-sGt_uNyEC"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#KoBERT를 사용하기 위한 라이브러리 설정\n",
        "!pip install mxnet\n",
        "!pip install gluonnlp pandas tqdm\n",
        "!pip install sentencepiece\n",
        "!pip install transformers==3.0.2\n",
        "!pip install torch"
      ],
      "metadata": {
        "id": "vwwnM9f0lTPk"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#깃허브에서 KoBERT 파일 로드\n",
        "!pip install git+https://git@github.com/SKTBrain/KoBERT.git@master"
      ],
      "metadata": {
        "id": "PJoaKCeLlhBM"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#kobert\n",
        "from kobert.utils import get_tokenizer\n",
        "from kobert.pytorch_kobert import get_pytorch_kobert_model\n",
        "\n",
        "#transformers\n",
        "from transformers import AdamW\n",
        "from transformers.optimization import get_cosine_schedule_with_warmup"
      ],
      "metadata": {
        "id": "edLl3NiAl-Ck"
      },
      "execution_count": 1,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "import torch\n",
        "from torch import nn\n",
        "import torch.nn.functional as F\n",
        "import torch.optim as optim\n",
        "from torch.utils.data import Dataset, DataLoader\n",
        "import gluonnlp as nlp\n",
        "import numpy as np\n",
        "from tqdm import tqdm, tqdm_notebook"
      ],
      "metadata": {
        "id": "RHV0VvvumIkD"
      },
      "execution_count": 2,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#GPU 사용\n",
        "device = torch.device(\"cuda:0\")"
      ],
      "metadata": {
        "id": "Ieju-OEHmCV7"
      },
      "execution_count": 3,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "#BERT 모델, Vocabulary 불러오기\n",
        "bertmodel, vocab = get_pytorch_kobert_model()"
      ],
      "metadata": {
        "id": "md_Mh0lomOdt"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# AI Hub에서 받아온 데이터 전처리하기\n",
        "\n",
        "- 공포 : 5468 \n",
        "- 놀람 : 5898 \n",
        "- 분노 : 5665\n",
        "- 슬픔 : 5267\n",
        "- 중립 : 4830\n",
        "- 행복 : 6037\n",
        "- 혐오 : 5429\n",
        "\n",
        "라벨 중, 혐오를 부정으로, 행복을 긍정으로 치환하여 3가지 라벨을 통해서만 모델링을 진행한다."
      ],
      "metadata": {
        "id": "PU3bIa5SmZaL"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "import pandas as pd"
      ],
      "metadata": {
        "id": "t6HXwjKhQlzQ"
      },
      "execution_count": 5,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# pd.read_csv로 csv파일 불러오기\n",
        "df = pd.read_csv('korean_oneoff_chats.csv')\n",
        "df"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 423
        },
        "id": "zpIvGjwuQCCZ",
        "outputId": "8473adca-b01c-4430-b197-f6f56c742be9"
      },
      "execution_count": 6,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "\n",
              "  <div id=\"df-5580379c-3e0f-417f-97e0-e6950378ede0\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>Sentence</th>\n",
              "      <th>Emotion</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>언니 동생으로 부르는게 맞는 일인가요..??</td>\n",
              "      <td>공포</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>그냥 내 느낌일뿐겠지?</td>\n",
              "      <td>공포</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>아직너무초기라서 그런거죠?</td>\n",
              "      <td>공포</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>유치원버스 사고 낫다던데</td>\n",
              "      <td>공포</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>근데 원래이런거맞나요</td>\n",
              "      <td>공포</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38589</th>\n",
              "      <td>솔직히 예보 제대로 못하는 데 세금이라도 아끼게 그냥 폐지해라..</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38590</th>\n",
              "      <td>재미가 없으니 망하지</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38591</th>\n",
              "      <td>공장 도시락 비우생적임 아르바이트했는데 화장실가성 손도 않씯고 재료 담고 바닥 떨어...</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38592</th>\n",
              "      <td>코딱지 만한 나라에서 지들끼리 피터지게 싸우는 센징 클래스 ㅉㅉㅉ</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38593</th>\n",
              "      <td>와이프도 그렇고 댓글 다 볼텐데 이휘재 좀 하차 하라고 전해주세요</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>38594 rows × 2 columns</p>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-5580379c-3e0f-417f-97e0-e6950378ede0')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-5580379c-3e0f-417f-97e0-e6950378ede0 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-5580379c-3e0f-417f-97e0-e6950378ede0');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ],
            "text/plain": [
              "                                                Sentence Emotion\n",
              "0                               언니 동생으로 부르는게 맞는 일인가요..??      공포\n",
              "1                                           그냥 내 느낌일뿐겠지?      공포\n",
              "2                                         아직너무초기라서 그런거죠?      공포\n",
              "3                                          유치원버스 사고 낫다던데      공포\n",
              "4                                            근데 원래이런거맞나요      공포\n",
              "...                                                  ...     ...\n",
              "38589               솔직히 예보 제대로 못하는 데 세금이라도 아끼게 그냥 폐지해라..      혐오\n",
              "38590                                        재미가 없으니 망하지      혐오\n",
              "38591  공장 도시락 비우생적임 아르바이트했는데 화장실가성 손도 않씯고 재료 담고 바닥 떨어...      혐오\n",
              "38592               코딱지 만한 나라에서 지들끼리 피터지게 싸우는 센징 클래스 ㅉㅉㅉ      혐오\n",
              "38593               와이프도 그렇고 댓글 다 볼텐데 이휘재 좀 하차 하라고 전해주세요      혐오\n",
              "\n",
              "[38594 rows x 2 columns]"
            ]
          },
          "metadata": {},
          "execution_count": 6
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#결측치 확인\n",
        "df.isna().sum()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "i6yr3FELnyrR",
        "outputId": "34dca455-e967-41b2-9d79-8a337a40e023"
      },
      "execution_count": 7,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "Sentence    0\n",
              "Emotion     0\n",
              "dtype: int64"
            ]
          },
          "metadata": {},
          "execution_count": 7
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "## Emotion별 특징 분석하기"
      ],
      "metadata": {
        "id": "bQO51M4riM0W"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "df['Emotion'].unique()"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "zl7eFAvpmgYg",
        "outputId": "394664d2-a6b7-4998-9b16-56af6ffd5acb"
      },
      "execution_count": 8,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "array(['공포', '놀람', '분노', '슬픔', '중립', '행복', '혐오'], dtype=object)"
            ]
          },
          "metadata": {},
          "execution_count": 8
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "idx = df[df['Emotion'] == '분노'].index\n",
        "idx2 = df[df['Emotion'] == '공포'].index\n",
        "idx3 = df[df['Emotion'] == '슬픔'].index\n",
        "idx4 = df[df['Emotion'] == '놀람'].index\n",
        "df = df.drop(idx)\n",
        "df = df.drop(idx2)\n",
        "df = df.drop(idx3)\n",
        "df = df.drop(idx4)\n",
        "df"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 423
        },
        "id": "MiGRe62k9jDS",
        "outputId": "abd18f8d-b48e-4f01-a778-57d9453a467a"
      },
      "execution_count": 9,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "\n",
              "  <div id=\"df-421f9ce6-bc3f-4d3f-922d-5371068961b4\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>Sentence</th>\n",
              "      <th>Emotion</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>22298</th>\n",
              "      <td>소량은 먹어도 인체에 해롭지 않고요.</td>\n",
              "      <td>중립</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>22299</th>\n",
              "      <td>그래도 청문회 나온 놈들보다는 정직한 대답 한것 같다</td>\n",
              "      <td>중립</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>22300</th>\n",
              "      <td>이런일 터지기전에 이미 계약 했을까?</td>\n",
              "      <td>중립</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>22301</th>\n",
              "      <td>좀더 신중할필요가 있다...</td>\n",
              "      <td>중립</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>22302</th>\n",
              "      <td>이번엔 베터리 색상은?</td>\n",
              "      <td>중립</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>...</th>\n",
              "      <td>...</td>\n",
              "      <td>...</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38589</th>\n",
              "      <td>솔직히 예보 제대로 못하는 데 세금이라도 아끼게 그냥 폐지해라..</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38590</th>\n",
              "      <td>재미가 없으니 망하지</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38591</th>\n",
              "      <td>공장 도시락 비우생적임 아르바이트했는데 화장실가성 손도 않씯고 재료 담고 바닥 떨어...</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38592</th>\n",
              "      <td>코딱지 만한 나라에서 지들끼리 피터지게 싸우는 센징 클래스 ㅉㅉㅉ</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38593</th>\n",
              "      <td>와이프도 그렇고 댓글 다 볼텐데 이휘재 좀 하차 하라고 전해주세요</td>\n",
              "      <td>혐오</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "<p>16296 rows × 2 columns</p>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-421f9ce6-bc3f-4d3f-922d-5371068961b4')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-421f9ce6-bc3f-4d3f-922d-5371068961b4 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-421f9ce6-bc3f-4d3f-922d-5371068961b4');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ],
            "text/plain": [
              "                                                Sentence Emotion\n",
              "22298                               소량은 먹어도 인체에 해롭지 않고요.      중립\n",
              "22299                      그래도 청문회 나온 놈들보다는 정직한 대답 한것 같다      중립\n",
              "22300                               이런일 터지기전에 이미 계약 했을까?      중립\n",
              "22301                                    좀더 신중할필요가 있다...      중립\n",
              "22302                                       이번엔 베터리 색상은?      중립\n",
              "...                                                  ...     ...\n",
              "38589               솔직히 예보 제대로 못하는 데 세금이라도 아끼게 그냥 폐지해라..      혐오\n",
              "38590                                        재미가 없으니 망하지      혐오\n",
              "38591  공장 도시락 비우생적임 아르바이트했는데 화장실가성 손도 않씯고 재료 담고 바닥 떨어...      혐오\n",
              "38592               코딱지 만한 나라에서 지들끼리 피터지게 싸우는 센징 클래스 ㅉㅉㅉ      혐오\n",
              "38593               와이프도 그렇고 댓글 다 볼텐데 이휘재 좀 하차 하라고 전해주세요      혐오\n",
              "\n",
              "[16296 rows x 2 columns]"
            ]
          },
          "metadata": {},
          "execution_count": 9
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "df.loc[(df['Emotion']=='혐오'), 'Emotion'] = 0 #혐오를 0으로 표현\n",
        "df.loc[(df['Emotion']=='중립'), 'Emotion'] = 1 #중립을 1으로 표현\n",
        "df.loc[(df['Emotion']=='행복'), 'Emotion'] = 2 #행복을 2으로 표현"
      ],
      "metadata": {
        "id": "vZ5BpAo2qQGe"
      },
      "execution_count": 10,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "df.sample(10)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 363
        },
        "id": "YlA418Z9sOI-",
        "outputId": "2cc17e09-721d-4019-e933-4c0e9e735dff"
      },
      "execution_count": 11,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "\n",
              "  <div id=\"df-8d209aea-9289-48bf-a419-3c4f25103f33\">\n",
              "    <div class=\"colab-df-container\">\n",
              "      <div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>Sentence</th>\n",
              "      <th>Emotion</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>25852</th>\n",
              "      <td>북한 비판을 쓰기위해 나라를 북한으로 만드네.</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>35557</th>\n",
              "      <td>가지마라. 저기 말고 좋은데 많다</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>27634</th>\n",
              "      <td>유재석 Jr.의 탄생을 축하드려요~</td>\n",
              "      <td>2</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>33552</th>\n",
              "      <td>김고은이 앙칼지고 예민한 홍설 캐릭터를 완전 붕괴시켜놔서, 오연서가 평타만 쳐도 호...</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>29071</th>\n",
              "      <td>혜리가 나온다니 그저 고마울뿐 ㅜㅜ</td>\n",
              "      <td>2</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>36773</th>\n",
              "      <td>인간의 욕심이 만드는 허상일뿐 귀부인은 완성될 수 없습니다</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>37201</th>\n",
              "      <td>차 살돈도 없으니.. 참 댓글수준 볼만하다ㅋㅋ</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>26935</th>\n",
              "      <td>홍어들 스마트폰 사용자중에 대부분 아이폰 이라고 보면 돼죠</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>37673</th>\n",
              "      <td>A로드가 대단하다 약쟁이인데 그나이까지 꾸역꾸역 사는 것 보니까</td>\n",
              "      <td>0</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>23097</th>\n",
              "      <td>국회에 앞서 우리 국민부터 각성해야 할 시기입니다</td>\n",
              "      <td>1</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>\n",
              "      <button class=\"colab-df-convert\" onclick=\"convertToInteractive('df-8d209aea-9289-48bf-a419-3c4f25103f33')\"\n",
              "              title=\"Convert this dataframe to an interactive table.\"\n",
              "              style=\"display:none;\">\n",
              "        \n",
              "  <svg xmlns=\"http://www.w3.org/2000/svg\" height=\"24px\"viewBox=\"0 0 24 24\"\n",
              "       width=\"24px\">\n",
              "    <path d=\"M0 0h24v24H0V0z\" fill=\"none\"/>\n",
              "    <path d=\"M18.56 5.44l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94zm-11 1L8.5 8.5l.94-2.06 2.06-.94-2.06-.94L8.5 2.5l-.94 2.06-2.06.94zm10 10l.94 2.06.94-2.06 2.06-.94-2.06-.94-.94-2.06-.94 2.06-2.06.94z\"/><path d=\"M17.41 7.96l-1.37-1.37c-.4-.4-.92-.59-1.43-.59-.52 0-1.04.2-1.43.59L10.3 9.45l-7.72 7.72c-.78.78-.78 2.05 0 2.83L4 21.41c.39.39.9.59 1.41.59.51 0 1.02-.2 1.41-.59l7.78-7.78 2.81-2.81c.8-.78.8-2.07 0-2.86zM5.41 20L4 18.59l7.72-7.72 1.47 1.35L5.41 20z\"/>\n",
              "  </svg>\n",
              "      </button>\n",
              "      \n",
              "  <style>\n",
              "    .colab-df-container {\n",
              "      display:flex;\n",
              "      flex-wrap:wrap;\n",
              "      gap: 12px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert {\n",
              "      background-color: #E8F0FE;\n",
              "      border: none;\n",
              "      border-radius: 50%;\n",
              "      cursor: pointer;\n",
              "      display: none;\n",
              "      fill: #1967D2;\n",
              "      height: 32px;\n",
              "      padding: 0 0 0 0;\n",
              "      width: 32px;\n",
              "    }\n",
              "\n",
              "    .colab-df-convert:hover {\n",
              "      background-color: #E2EBFA;\n",
              "      box-shadow: 0px 1px 2px rgba(60, 64, 67, 0.3), 0px 1px 3px 1px rgba(60, 64, 67, 0.15);\n",
              "      fill: #174EA6;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert {\n",
              "      background-color: #3B4455;\n",
              "      fill: #D2E3FC;\n",
              "    }\n",
              "\n",
              "    [theme=dark] .colab-df-convert:hover {\n",
              "      background-color: #434B5C;\n",
              "      box-shadow: 0px 1px 3px 1px rgba(0, 0, 0, 0.15);\n",
              "      filter: drop-shadow(0px 1px 2px rgba(0, 0, 0, 0.3));\n",
              "      fill: #FFFFFF;\n",
              "    }\n",
              "  </style>\n",
              "\n",
              "      <script>\n",
              "        const buttonEl =\n",
              "          document.querySelector('#df-8d209aea-9289-48bf-a419-3c4f25103f33 button.colab-df-convert');\n",
              "        buttonEl.style.display =\n",
              "          google.colab.kernel.accessAllowed ? 'block' : 'none';\n",
              "\n",
              "        async function convertToInteractive(key) {\n",
              "          const element = document.querySelector('#df-8d209aea-9289-48bf-a419-3c4f25103f33');\n",
              "          const dataTable =\n",
              "            await google.colab.kernel.invokeFunction('convertToInteractive',\n",
              "                                                     [key], {});\n",
              "          if (!dataTable) return;\n",
              "\n",
              "          const docLinkHtml = 'Like what you see? Visit the ' +\n",
              "            '<a target=\"_blank\" href=https://colab.research.google.com/notebooks/data_table.ipynb>data table notebook</a>'\n",
              "            + ' to learn more about interactive tables.';\n",
              "          element.innerHTML = '';\n",
              "          dataTable['output_type'] = 'display_data';\n",
              "          await google.colab.output.renderOutput(dataTable, element);\n",
              "          const docLink = document.createElement('div');\n",
              "          docLink.innerHTML = docLinkHtml;\n",
              "          element.appendChild(docLink);\n",
              "        }\n",
              "      </script>\n",
              "    </div>\n",
              "  </div>\n",
              "  "
            ],
            "text/plain": [
              "                                                Sentence Emotion\n",
              "25852                          북한 비판을 쓰기위해 나라를 북한으로 만드네.       1\n",
              "35557                                 가지마라. 저기 말고 좋은데 많다       0\n",
              "27634                                유재석 Jr.의 탄생을 축하드려요~       2\n",
              "33552  김고은이 앙칼지고 예민한 홍설 캐릭터를 완전 붕괴시켜놔서, 오연서가 평타만 쳐도 호...       0\n",
              "29071                                혜리가 나온다니 그저 고마울뿐 ㅜㅜ       2\n",
              "36773                   인간의 욕심이 만드는 허상일뿐 귀부인은 완성될 수 없습니다       0\n",
              "37201                          차 살돈도 없으니.. 참 댓글수준 볼만하다ㅋㅋ       0\n",
              "26935                   홍어들 스마트폰 사용자중에 대부분 아이폰 이라고 보면 돼죠       1\n",
              "37673                A로드가 대단하다 약쟁이인데 그나이까지 꾸역꾸역 사는 것 보니까       0\n",
              "23097                        국회에 앞서 우리 국민부터 각성해야 할 시기입니다       1"
            ]
          },
          "metadata": {},
          "execution_count": 11
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#각 행의 데이터를 리스트로 묶어주고 하나의 리스트에 넣기\n",
        "data_list = []\n",
        "\n",
        "for q, label in zip(df['Sentence'], df['Emotion'])  :\n",
        "    data = []\n",
        "    data.append(q)\n",
        "    data.append(str(label))\n",
        "\n",
        "    data_list.append(data)"
      ],
      "metadata": {
        "id": "xZIIMi2N8ANo"
      },
      "execution_count": 12,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "data_list[0]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "D_3Yq86_8UHt",
        "outputId": "d1ba1e2a-f7ce-4bff-f463-185c903edbe7"
      },
      "execution_count": 13,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "[' 소량은 먹어도 인체에 해롭지 않고요.', '1']"
            ]
          },
          "metadata": {},
          "execution_count": 13
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 데이터셋 나누기"
      ],
      "metadata": {
        "id": "wQSU6qPrsbxw"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "from sklearn.model_selection import train_test_split\n",
        "                                                         \n",
        "train_li, test_li = train_test_split(data_list, test_size=0.2, random_state=0)"
      ],
      "metadata": {
        "id": "iLEWuBRAsach"
      },
      "execution_count": 14,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "print(len(train_li))\n",
        "print(len(test_li))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "KJp5f5ACcflM",
        "outputId": "fad82510-8e89-4326-a20d-4287011e82cc"
      },
      "execution_count": 15,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "13036\n",
            "3260\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# KoBERT 입력 데이터로 데이터셋 만들기"
      ],
      "metadata": {
        "id": "FTASBxLRctIe"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#BERT 모델에 들어가기 위한 데이터셋을 만들어주는 사용자 클래스 만들기\n",
        "class BERTdata(Dataset):\n",
        "  def __init__(self, dataset, sent_idx, label_idx, bert_tokenizer, max_len, pad, pair):\n",
        "    transform = nlp.data.BERTSentenceTransform(\n",
        "        bert_tokenizer, max_seq_length=max_len, pad=pad, pair=pair)\n",
        "    self.sentences = [transform([i[sent_idx]]) for i in dataset]\n",
        "    self.labels = [np.int32(i[label_idx]) for i in dataset]\n",
        "\n",
        "  def __getitem__(self, i):\n",
        "    return (self.sentences[i] + (self.labels[i], ))\n",
        "\n",
        "  def __len__(self):\n",
        "    return(len(self.labels))"
      ],
      "metadata": {
        "id": "sXrGEmhvc0HX"
      },
      "execution_count": 16,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# \bKoBERT의 파라미터 세팅\n",
        "max_len = 64             #텍스트 데이터 최대 길이\n",
        "batch_size = 64\n",
        "warmup_ratio = 0.1\n",
        "num_epochs = 5           #반복학습 수\n",
        "max_grad_norm = 1\n",
        "log_interval = 200\n",
        "learning_rate = 5e-5"
      ],
      "metadata": {
        "id": "wtJ1YdLqibzt"
      },
      "execution_count": 17,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 토큰화"
      ],
      "metadata": {
        "id": "5pMElnTSij2m"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "tokenizer = get_tokenizer()\n",
        "tok = nlp.data.BERTSPTokenizer(tokenizer, vocab, lower=False)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "DZ6vUqdlimZj",
        "outputId": "f6286fce-56e5-4e8b-ab5f-96e7eaa698fe"
      },
      "execution_count": 18,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "using cached model. /content/.cache/kobert_news_wiki_ko_cased-1087f8699e.spiece\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#위의 클래스를 통해 데이터프레임에 있던 데이터를 토큰화해주기\n",
        "train_data = BERTdata(train_li, 0, 1, tok, max_len, True, False)\n",
        "test_data = BERTdata(test_li, 0, 1, tok, max_len, True, False)"
      ],
      "metadata": {
        "id": "gnv3EcKPiqRJ"
      },
      "execution_count": 19,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "train_data[0]"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "dZe4b9Ep81Qq",
        "outputId": "158841d8-04ef-44de-a663-225e47b15748"
      },
      "execution_count": 20,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(array([   2, 1633, 6280,  517,  364,  523,  517,  364,  517, 7086, 5546,\n",
              "        7996, 2819, 7828, 2355, 5392, 5436, 6615, 1266, 5400, 5903,  517,\n",
              "         493,    3,    1,    1,    1,    1,    1,    1,    1,    1,    1,\n",
              "           1,    1,    1,    1,    1,    1,    1,    1,    1,    1,    1,\n",
              "           1,    1,    1,    1,    1,    1,    1,    1,    1,    1,    1,\n",
              "           1,    1,    1,    1,    1,    1,    1,    1,    1], dtype=int32),\n",
              " array(24, dtype=int32),\n",
              " array([0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,\n",
              "        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0,\n",
              "        0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0],\n",
              "       dtype=int32),\n",
              " 2)"
            ]
          },
          "metadata": {},
          "execution_count": 20
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#torch형식의 데이터셋으로 만들어주어 koBERT에 학습시킬 수 있는 형태로 만들어주기\n",
        "\n",
        "train_dataloader = torch.utils.data.DataLoader(train_data, batch_size=batch_size, num_workers=5)\n",
        "test_dataloader = torch.utils.data.DataLoader(test_data, batch_size=batch_size, num_workers=5)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "Tsm-tSXA89Om",
        "outputId": "8e759245-f478-4224-db40-f789f654b3ca"
      },
      "execution_count": 21,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/torch/utils/data/dataloader.py:481: UserWarning: This DataLoader will create 5 worker processes in total. Our suggested max number of worker in current system is 2, which is smaller than what this DataLoader is going to create. Please be aware that excessive worker creation might get DataLoader running slow or even freeze, lower the worker number to avoid potential slowness/freeze if necessary.\n",
            "  cpuset_checked))\n"
          ]
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 감정 분류 KoBERT 학습 모델 만들기"
      ],
      "metadata": {
        "id": "Qc1sooNo9UMU"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "class KoBERTClassifier(nn.Module):\n",
        "    def __init__(self,\n",
        "                 bert,\n",
        "                 hidden_size = 768,\n",
        "                 num_classes=3,   ##분류할 클래스의 수에 맞춰 조정\n",
        "                 dr_rate=None,\n",
        "                 params=None):\n",
        "        super(KoBERTClassifier, self).__init__()\n",
        "        self.bert = bert\n",
        "        self.dr_rate = dr_rate\n",
        "                 \n",
        "        self.classifier = nn.Linear(hidden_size , num_classes)\n",
        "        if dr_rate:\n",
        "            self.dropout = nn.Dropout(p=dr_rate)\n",
        "    \n",
        "    def gen_attention_mask(self, token_ids, valid_length):\n",
        "        attention_mask = torch.zeros_like(token_ids)\n",
        "        for i, v in enumerate(valid_length):\n",
        "            attention_mask[i][:v] = 1\n",
        "        return attention_mask.float()\n",
        "\n",
        "    def forward(self, token_ids, valid_length, segment_ids):\n",
        "        attention_mask = self.gen_attention_mask(token_ids, valid_length)\n",
        "        \n",
        "        _, pooler = self.bert(input_ids = token_ids, token_type_ids = segment_ids.long(), attention_mask = attention_mask.float().to(token_ids.device))\n",
        "        if self.dr_rate:\n",
        "            out = self.dropout(pooler)\n",
        "        return self.classifier(out)"
      ],
      "metadata": {
        "id": "Yi46gWJB9XoG"
      },
      "execution_count": 22,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "model = KoBERTClassifier(bertmodel,  dr_rate=0.5).to(device)"
      ],
      "metadata": {
        "id": "emGvy2I23aWU"
      },
      "execution_count": 23,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# Prepare optimizer and schedule (linear warmup and decay)\n",
        "no_decay = ['bias', 'LayerNorm.weight']\n",
        "optimizer_grouped_parameters = [\n",
        "    {'params': [p for n, p in model.named_parameters() if not any(nd in n for nd in no_decay)], 'weight_decay': 0.01},\n",
        "    {'params': [p for n, p in model.named_parameters() if any(nd in n for nd in no_decay)], 'weight_decay': 0.0}\n",
        "]"
      ],
      "metadata": {
        "id": "B2-7ENCc6nuz"
      },
      "execution_count": 24,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "optimizer = AdamW(optimizer_grouped_parameters, lr=learning_rate)\n",
        "loss_fn = nn.CrossEntropyLoss()"
      ],
      "metadata": {
        "id": "c5LXML7L6igx"
      },
      "execution_count": 25,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "t_total = len(train_dataloader) * num_epochs\n",
        "warmup_step = int(t_total * warmup_ratio)"
      ],
      "metadata": {
        "id": "HOZiYkCq6qn3"
      },
      "execution_count": 26,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "scheduler = get_cosine_schedule_with_warmup(optimizer, num_warmup_steps=warmup_step, num_training_steps=t_total)\n"
      ],
      "metadata": {
        "id": "srLQi_OG6uWe"
      },
      "execution_count": 27,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "def calc_accuracy(X,Y):\n",
        "    max_vals, max_indices = torch.max(X, 1)\n",
        "    train_acc = (max_indices == Y).sum().data.cpu().numpy()/max_indices.size()[0]\n",
        "    return train_acc"
      ],
      "metadata": {
        "id": "AkiilP_v6xEV"
      },
      "execution_count": 28,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "train_dataloader"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "8-yJenDH60Gl",
        "outputId": "61e58715-21c0-484e-8e60-fbe01a46d67d"
      },
      "execution_count": 29,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "<torch.utils.data.dataloader.DataLoader at 0x7fe081c47dd0>"
            ]
          },
          "metadata": {},
          "execution_count": 29
        }
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 모델 학습시키기"
      ],
      "metadata": {
        "id": "JQbovdlS63HK"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "for e in range(num_epochs):\n",
        "    train_acc = 0.0\n",
        "    test_acc = 0.0\n",
        "    model.train()\n",
        "    for batch_id, (token_ids, valid_length, segment_ids, label) in enumerate(tqdm_notebook(train_dataloader)):\n",
        "        optimizer.zero_grad()\n",
        "        token_ids = token_ids.long().to(device)\n",
        "        segment_ids = segment_ids.long().to(device)\n",
        "        valid_length= valid_length\n",
        "        label = label.long().to(device)\n",
        "        out = model(token_ids, valid_length, segment_ids)\n",
        "        loss = loss_fn(out, label)\n",
        "        loss.backward()\n",
        "        torch.nn.utils.clip_grad_norm_(model.parameters(), max_grad_norm)\n",
        "        optimizer.step()\n",
        "        scheduler.step()  # Update learning rate schedule\n",
        "        train_acc += calc_accuracy(out, label)\n",
        "        if batch_id % log_interval == 0:\n",
        "            print(\"epoch {} batch id {} loss {} train acc {}\".format(e+1, batch_id+1, loss.data.cpu().numpy(), train_acc / (batch_id+1)))\n",
        "    print(\"epoch {} train acc {}\".format(e+1, train_acc / (batch_id+1)))\n",
        "    \n",
        "    model.eval()\n",
        "    for batch_id, (token_ids, valid_length, segment_ids, label) in enumerate(tqdm_notebook(test_dataloader)):\n",
        "        token_ids = token_ids.long().to(device)\n",
        "        segment_ids = segment_ids.long().to(device)\n",
        "        valid_length= valid_length\n",
        "        label = label.long().to(device)\n",
        "        out = model(token_ids, valid_length, segment_ids)\n",
        "        test_acc += calc_accuracy(out, label)\n",
        "    print(\"epoch {} test acc {}\".format(e+1, test_acc / (batch_id+1)))"
      ],
      "metadata": {
        "id": "VoraEEbi64vz"
      },
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "# 새로운 문장들로 테스트하기\n",
        "\n",
        "위에서 훈련시킨 모델에 새로운 문장을 넣어 감정 분류를 잘 하는지 테스트해볼 수 있다."
      ],
      "metadata": {
        "id": "VRh8auunHOZm"
      }
    },
    {
      "cell_type": "code",
      "source": [
        "#토큰화\n",
        "tokenizer = get_tokenizer()\n",
        "tok = nlp.data.BERTSPTokenizer(tokenizer, vocab, lower=False)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ZgMjtQrVHw6s",
        "outputId": "6dea2d67-ef45-4f4a-83cf-f47634c34adc"
      },
      "execution_count": 31,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "using cached model. /content/.cache/kobert_news_wiki_ko_cased-1087f8699e.spiece\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "def predict(predict_sentence):\n",
        "\n",
        "    data = [predict_sentence, '0']\n",
        "    dataset_another = [data]\n",
        "\n",
        "    another_test = BERTdata(dataset_another, 0, 1, tok, max_len, True, False)\n",
        "    test_dataloader = torch.utils.data.DataLoader(another_test, batch_size=batch_size, num_workers=5)\n",
        "    \n",
        "    model.eval()\n",
        "\n",
        "    for batch_id, (token_ids, valid_length, segment_ids, label) in enumerate(test_dataloader):\n",
        "        token_ids = token_ids.long().to(device)\n",
        "        segment_ids = segment_ids.long().to(device)\n",
        "\n",
        "        valid_length= valid_length\n",
        "        label = label.long().to(device)\n",
        "\n",
        "        out = model(token_ids, valid_length, segment_ids)\n",
        "\n",
        "\n",
        "        test_eval=[]\n",
        "        for i in out:\n",
        "            logits=i\n",
        "            logits = logits.detach().cpu().numpy()\n",
        "\n",
        "            if np.argmax(logits) == 0:\n",
        "                test_eval.append(\"부정\")\n",
        "            elif np.argmax(logits) == 1:\n",
        "                test_eval.append(\"중립\")\n",
        "            elif np.argmax(logits) == 2:\n",
        "                test_eval.append(\"긍정\")\n",
        "\n",
        "    return test_eval[0]"
      ],
      "metadata": {
        "id": "qYzsshX3IsJS"
      },
      "execution_count": 56,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "sentence = input(\"입력된 문장: \")\n",
        "predict(sentence)"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "3zgmsDJcFLuA",
        "outputId": "d8149d59-41c6-42fd-a0e3-f9c3efec5e48"
      },
      "execution_count": 33,
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "입력된 문장: 행복하다\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/torch/utils/data/dataloader.py:481: UserWarning: This DataLoader will create 5 worker processes in total. Our suggested max number of worker in current system is 2, which is smaller than what this DataLoader is going to create. Please be aware that excessive worker creation might get DataLoader running slow or even freeze, lower the worker number to avoid potential slowness/freeze if necessary.\n",
            "  cpuset_checked))\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            ">> 예측된 감정: 행복\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "#문장을 입력하면 감정을 예측해주는 입력기\n",
        "#0 입력시 종료\n",
        "end = 1\n",
        "while end == 1 :\n",
        "    sentence = input(\"입력된 문장: \")\n",
        "    if sentence == '0':\n",
        "        break\n",
        "    print(predict(sentence))\n",
        "    print(\"\\n\")"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "r8U9OYC2Kb--",
        "outputId": "717e5c65-6c79-4d32-8a9a-0b8eb74713aa"
      },
      "execution_count": 115,
      "outputs": [
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "입력된 문장: hi\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/torch/utils/data/dataloader.py:481: UserWarning:\n",
            "\n",
            "This DataLoader will create 5 worker processes in total. Our suggested max number of worker in current system is 2, which is smaller than what this DataLoader is going to create. Please be aware that excessive worker creation might get DataLoader running slow or even freeze, lower the worker number to avoid potential slowness/freeze if necessary.\n",
            "\n"
          ]
        },
        {
          "name": "stdout",
          "output_type": "stream",
          "text": [
            "중립\n",
            "\n",
            "\n",
            "입력된 문장: 아 행복해\n",
            "행복\n",
            "\n",
            "\n",
            "입력된 문장: 아 슬퍼\n",
            "행복\n",
            "\n",
            "\n",
            "입력된 문장: 0\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 셀럽별 변수 생성\n",
        "\n",
        "import pandas as pd\n",
        "\n",
        "cjsl = pd.read_csv('cjsl.csv')\n",
        "dqzb = pd.read_csv('dqzb.csv')\n",
        "jldn = pd.read_csv('jldn.csv')\n",
        "jopu = pd.read_csv('jopu.csv')\n",
        "jseu = pd.read_csv('jseu.csv')\n",
        "lovm = pd.read_csv('lovm.csv')\n",
        "osqr = pd.read_csv('osqr.csv')\n",
        "vaya = pd.read_csv('vaya.csv')\n",
        "wkdg = pd.read_csv('wkdg.csv')\n",
        "xmsq = pd.read_csv('xmsq.csv')"
      ],
      "metadata": {
        "id": "jQnu0t_lPQz7"
      },
      "execution_count": 65,
      "outputs": []
    },
    {
      "cell_type": "code",
      "source": [
        "# 일괄 전처리 함수\n",
        "\n",
        "import re\n",
        "\n",
        "def cleasing(text): \n",
        "    repl ='' \n",
        "    pattern = '([ㄱ-ㅎㅏ-ㅣ]+)' # 자음, 모음 제거 \n",
        "    text = re.sub(pattern= pattern, repl=repl, string=text) \n",
        "    #pattern = '[^\\w\\s]' # 특수기호 제거 \n",
        "    pattern = '[^가-히\\s]' # 특수기호 제거 \n",
        "    text = re.sub(pattern= pattern, repl=repl, string=text) \n",
        "    pattern = '<[^>]*>' # html 제거 \n",
        "    text = re.sub(pattern = pattern, repl='',string=text) \n",
        "    return text\n",
        "\n",
        "def preprocessing(df):\n",
        "\n",
        "    df = df[['회원 코드', '대화 내용']]\n",
        "    df = df.dropna(axis=0)\n",
        "    df['대화 내용']= df['대화 내용'].map(lambda x: cleasing(x))\n",
        "    df['대화 내용'] = df['대화 내용'].apply(lambda x: x.replace('\\n',''))\n",
        "    idx = df[df['대화 내용'] == ' 님이 참여했습니다'].index\n",
        "    idx2 = df[df['대화 내용'] == ' 님이 나갔습니다'].index\n",
        "    df = df.drop(idx)\n",
        "    df = df.drop(idx2)\n",
        "    return df\n",
        "\n",
        "cjsl = preprocessing(cjsl)\n",
        "dqzb = preprocessing(dqzb)\n",
        "jldn = preprocessing(jldn)\n",
        "jopu = preprocessing(jopu)\n",
        "jseu = preprocessing(jseu)\n",
        "lovm = preprocessing(lovm)\n",
        "osqr = preprocessing(osqr)\n",
        "vaya = preprocessing(vaya)\n",
        "wkdg = preprocessing(wkdg)\n",
        "xmsq = preprocessing(xmsq)\n",
        "\n",
        "cjsl, xmsq"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "m0ESDO6FP1s4",
        "outputId": "8aee82b1-8ce5-4fd7-f35a-d32702e912bf"
      },
      "execution_count": 66,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "(     회원 코드                 대화 내용\n",
              " 0     CJSL                 안녕하세요\n",
              " 1     CJSL  얼리어답터분들 두분만이 새로 까셨군요\n",
              " 3     CJSL          요즘 마리 캣타워입니다\n",
              " 4     JGXH                      \n",
              " 6     BYZG               오 저도 깔음\n",
              " ...    ...                   ...\n",
              " 1759  ZMBN              학점보다는 낫죠\n",
              " 1760  CJSL               이게모람 커엽\n",
              " 1761  YBJG          귀엽네요 마치 저처럼 \n",
              " 1762  HCVZ                    어맛\n",
              " 1763  GILO  시지비에서 파는 팝콘콤보세트요 원인가\n",
              " \n",
              " [1494 rows x 2 columns],      회원 코드             대화 내용\n",
              " 0     BYZG    코가쿨라 님이 참여했습니다\n",
              " 1     BYZG             안녕하세요\n",
              " 2     XMSQ             안녕하세용\n",
              " 3     BYZG  이제 장마인데 잠이 안오네요 \n",
              " 5     LBLA             이몸 등장\n",
              " ...    ...               ...\n",
              " 2320  JPGP       오늘은 거래할수있을까\n",
              " 2321  ZRAJ            쉐이킷쉐이킷\n",
              " 2322  WSFL         오 녹차맛 쉐이크\n",
              " 2323  WSFL     이제 스파르탄큐만 조지면\n",
              " 2324  XMSQ          베개도 팔아야댐\n",
              " \n",
              " [2148 rows x 2 columns])"
            ]
          },
          "metadata": {},
          "execution_count": 66
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "celeb = [cjsl, dqzb, jldn, jopu, jseu, lovm, osqr, vaya, wkdg, xmsq]\n",
        "\n",
        "for i in celeb:\n",
        "    print(i.head(1))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "7uJA2D0mQ04P",
        "outputId": "864ed20a-1f0c-4c0d-b40a-cceca3ac3392"
      },
      "execution_count": 67,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "  회원 코드  대화 내용\n",
            "0  CJSL  안녕하세요\n",
            "  회원 코드           대화 내용\n",
            "0  BYZG  코가쿨라 님이 참여했습니다\n",
            "  회원 코드  대화 내용\n",
            "1  CNJO  이리오너라\n",
            "  회원 코드  대화 내용\n",
            "6  HEHJ  아침밥이당\n",
            "  회원 코드                  대화 내용\n",
            "1  NTFC  어떻게 나오는지 궁금해서 쳐보는 아무말\n",
            "  회원 코드 대화 내용\n",
            "1  COPY      \n",
            "  회원 코드           대화 내용\n",
            "0  BYZG  코가쿨라 님이 참여했습니다\n",
            "  회원 코드 대화 내용\n",
            "2  KAMF  사랑해요\n",
            "  회원 코드                                              대화 내용\n",
            "5  ORNS  알하 방송중이시라 못보시려나요누군가 무슨 얘기를 했는지는 모르지만 답장을 하시면 유...\n",
            "  회원 코드           대화 내용\n",
            "0  BYZG  코가쿨라 님이 참여했습니다\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 감정 분석 함수\n",
        "\n",
        "def gamjung(data):\n",
        "    return predict(data)\n",
        "\n",
        "gamjung(cjsl['대화 내용'][0])"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 90
        },
        "id": "UviWOyh0SZP4",
        "outputId": "9734a2bb-6924-4041-82bb-b6df5965f365"
      },
      "execution_count": 68,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/torch/utils/data/dataloader.py:481: UserWarning: This DataLoader will create 5 worker processes in total. Our suggested max number of worker in current system is 2, which is smaller than what this DataLoader is going to create. Please be aware that excessive worker creation might get DataLoader running slow or even freeze, lower the worker number to avoid potential slowness/freeze if necessary.\n",
            "  cpuset_checked))\n"
          ]
        },
        {
          "output_type": "execute_result",
          "data": {
            "application/vnd.google.colaboratory.intrinsic+json": {
              "type": "string"
            },
            "text/plain": [
              "'행복'"
            ]
          },
          "metadata": {},
          "execution_count": 68
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 감정 컬럼 생성\n",
        "\n",
        "for i in celeb:\n",
        "    i['감정']= i['대화 내용'].apply(lambda x: gamjung(x))\n",
        "\n",
        "for i in celeb:\n",
        "    print(i.head(1))"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "ea5U50EgUfZR",
        "outputId": "13ae13db-64f0-43e3-ddb0-6afcf837c178"
      },
      "execution_count": 69,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stderr",
          "text": [
            "/usr/local/lib/python3.7/dist-packages/torch/utils/data/dataloader.py:481: UserWarning: This DataLoader will create 5 worker processes in total. Our suggested max number of worker in current system is 2, which is smaller than what this DataLoader is going to create. Please be aware that excessive worker creation might get DataLoader running slow or even freeze, lower the worker number to avoid potential slowness/freeze if necessary.\n",
            "  cpuset_checked))\n"
          ]
        },
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "  회원 코드  대화 내용  감정\n",
            "0  CJSL  안녕하세요  행복\n",
            "  회원 코드           대화 내용  감정\n",
            "0  BYZG  코가쿨라 님이 참여했습니다  행복\n",
            "  회원 코드  대화 내용  감정\n",
            "1  CNJO  이리오너라  중립\n",
            "  회원 코드  대화 내용  감정\n",
            "6  HEHJ  아침밥이당  행복\n",
            "  회원 코드                  대화 내용  감정\n",
            "1  NTFC  어떻게 나오는지 궁금해서 쳐보는 아무말  혐오\n",
            "  회원 코드 대화 내용  감정\n",
            "1  COPY        중립\n",
            "  회원 코드           대화 내용  감정\n",
            "0  BYZG  코가쿨라 님이 참여했습니다  행복\n",
            "  회원 코드 대화 내용  감정\n",
            "2  KAMF  사랑해요  행복\n",
            "  회원 코드                                              대화 내용  감정\n",
            "5  ORNS  알하 방송중이시라 못보시려나요누군가 무슨 얘기를 했는지는 모르지만 답장을 하시면 유...  중립\n",
            "  회원 코드           대화 내용  감정\n",
            "0  BYZG  코가쿨라 님이 참여했습니다  행복\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "for i, j in enumerate(celeb):\n",
        "    print(i)\n",
        "    print(j[['대화 내용', '감정']].groupby(['감정']).count(), '\\n')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "8IMLObOT_ucC",
        "outputId": "a5b0799d-697b-423d-de04-b8e85d2f83e2"
      },
      "execution_count": 83,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "0\n",
            "    대화 내용\n",
            "감정       \n",
            "중립    777\n",
            "행복    509\n",
            "혐오    208 \n",
            "\n",
            "1\n",
            "    대화 내용\n",
            "감정       \n",
            "중립    135\n",
            "행복     80\n",
            "혐오     24 \n",
            "\n",
            "2\n",
            "    대화 내용\n",
            "감정       \n",
            "중립    419\n",
            "행복    269\n",
            "혐오    126 \n",
            "\n",
            "3\n",
            "    대화 내용\n",
            "감정       \n",
            "중립     50\n",
            "행복     51\n",
            "혐오     15 \n",
            "\n",
            "4\n",
            "    대화 내용\n",
            "감정       \n",
            "중립     21\n",
            "행복     14\n",
            "혐오     10 \n",
            "\n",
            "5\n",
            "    대화 내용\n",
            "감정       \n",
            "중립     37\n",
            "행복     19\n",
            "혐오      8 \n",
            "\n",
            "6\n",
            "    대화 내용\n",
            "감정       \n",
            "중립     34\n",
            "행복     28\n",
            "혐오     10 \n",
            "\n",
            "7\n",
            "    대화 내용\n",
            "감정       \n",
            "중립    604\n",
            "행복   2105\n",
            "혐오    282 \n",
            "\n",
            "8\n",
            "    대화 내용\n",
            "감정       \n",
            "중립    708\n",
            "행복    749\n",
            "혐오    154 \n",
            "\n",
            "9\n",
            "    대화 내용\n",
            "감정       \n",
            "중립   1124\n",
            "행복    712\n",
            "혐오    312 \n",
            "\n"
          ]
        }
      ]
    },
    {
      "cell_type": "code",
      "source": [
        "# 행복도 산출\n",
        "\n",
        "celeb_name = ['CJSL', 'DQZB', 'JLDN', 'JOPU', 'JSEU', 'LOVM', 'OSQR', 'VAYA', 'WKDG', 'XMSQ']\n",
        "\n",
        "for i, j in enumerate(celeb):\n",
        "    j = j[['대화 내용', '감정']].groupby(['감정']).count()\n",
        "    j = j.reset_index()['대화 내용']\n",
        "    print('셀럽', celeb_name[i], '의 행복도는', round(j[1] / (j[0] + j[1] + j[2]) * 100, 2), '입니다.')"
      ],
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "KecPc5BbD0lE",
        "outputId": "a615f90d-e2d1-4bef-feee-c50372f32b09"
      },
      "execution_count": 112,
      "outputs": [
        {
          "output_type": "stream",
          "name": "stdout",
          "text": [
            "셀럽 CJSL 의 행복도는 34.07 입니다.\n",
            "셀럽 DQZB 의 행복도는 33.47 입니다.\n",
            "셀럽 JLDN 의 행복도는 33.05 입니다.\n",
            "셀럽 JOPU 의 행복도는 43.97 입니다.\n",
            "셀럽 JSEU 의 행복도는 31.11 입니다.\n",
            "셀럽 LOVM 의 행복도는 29.69 입니다.\n",
            "셀럽 OSQR 의 행복도는 38.89 입니다.\n",
            "셀럽 VAYA 의 행복도는 70.38 입니다.\n",
            "셀럽 WKDG 의 행복도는 46.49 입니다.\n",
            "셀럽 XMSQ 의 행복도는 33.15 입니다.\n"
          ]
        }
      ]
    }
  ]
}